Lao Huang lại đến lật bàn! Tại Hội nghị Siêu máy tính Toàn cầu 2023 (SC2023) vào sáng sớm hôm nay, NVIDIA đã ra mắt GPU H200 mới. Là phiên bản nâng cấp của H100 thế hệ trước, Lão Hoàng đã ngừng cài đặt và đơn phương gọi H200 là "mạnh nhất thế giới" trên trang web chính thức.

Nhưng điều tuyệt vời hơn nữa là sẽ không ai tra hỏi họ vì vi phạm luật quảng cáo, bởi vì trong thời đại AI, đối thủ chỉ có thể nhìn vào đèn hậu của Nvidia.

Đánh giá từ dữ liệu được NVIDIA tiết lộ chính thức, điểm mạnh nhất của H200 là hiệu năng suy luận mô hình lớn.

Lấy mô hình lớn LLama2 với 70 tỷ tham số làm ví dụ, tốc độ suy luận H200 nhanh gần như gấp đôi so với H100 thế hệ trước và mức tiêu thụ năng lượng cũng giảm một nửa.

Sở dĩ nó có thể đạt được kết quả mạnh mẽ như vậy đương nhiên là nhờ phần cứng mạnh mẽ của H200.

Về mặt thông số, cải tiến chính của H200 là tăng bộ nhớ video của "G Emperor" H100 thế hệ trước từ 80GB lên 141GB và tăng băng thông từ 3,35TB/s lên 4,8TB/s.

Những cải tiến này chủ yếu là do công nghệ bộ nhớ HBM3e.

Vào tháng 8 năm nay, sau khi SK Hynix ra mắt HBM3e, người ta tuyên bố rằng băng thông của một con chip có thể đạt tới 1,15TB/s, tương đương với việc truyền 230 phim độ phân giải cao FHD (mỗi phim có công suất 5G) trong 1 giây.

Ngay sau khi SK Hynix chính thức công bố HBM3e, các nhà sản xuất bộ nhớ trong đó có Samsung và Micron đã lần lượt theo đuổi công nghệ này.

HBM3e này thực chất là phiên bản nâng cấp của HBM3 mà mọi người đã sử dụng trước đây.

Nói một cách thẳng thắn, nó có hiệu suất cao hơn và băng thông cao hơn. Ưu điểm là chip có thể truyền dữ liệu với tốc độ nhanh hơn đồng thời giảm mức tiêu thụ điện năng.

rất phù hợp với các ứng dụng AI và dữ liệu lớn hiện tại.

Nvidia lập tức tìm SK Hynix để hợp tác.

Như vậy chúng ta có thể thấy rằng cách đây không lâu, H200 đã sử dụng công nghệ mới này.

Điều tiện lợi hơn việc nâng cấp công nghệ là cả H200 và H100 đều được xây dựng trên kiến ​​trúc NVIDIA Hopper.

Vậy hai chip tương thích với nhau. Những công ty có đầy đủ H100 không cần điều chỉnh và có thể thay thế trực tiếp.

Tuy nhiên, thoạt nhìn thì có vẻ là chuyện lớn nhưng trên thực tế H200 có thể chỉ là một bản nâng cấp giữa kỳ của H100.

Bởi vì chúng tôi nhận thấy rằng H100 và H200 thực sự giống hệt nhau về sức mạnh tính toán đỉnh cao.

Thông số duy nhất thực sự được cải thiện là bộ nhớ video và băng thông.

Trước đây, một thông số quan trọng thường được sử dụng để đánh giá hiệu suất của chip AI: khả năng huấn luyện. Sự cải thiện của

H200 so với H100 là không rõ ràng.

Đánh giá từ dữ liệu do NVIDIA cung cấp, trong quá trình huấn luyện mẫu lớn GPT-3175B, H200 chỉ mạnh hơn H100 10%.

Thao tác này rất có thể là có chủ ý.

Trước đây, các nhà sản xuất lớn bận rộn xây dựng các mẫu mã lớn của riêng họ. Nhu cầu lớn nhất về GPU chắc chắn là đào tạo, vì vậy điều mọi người lúc đó mong muốn là cải thiện khả năng đào tạo.

Ngày nay, khi các mô hình ngôn ngữ lớn AI tiếp tục được đưa vào sử dụng, mô hình đào tạo có thể đã là con bò trong mắt các nhà sản xuất và mọi người đều đang tập trung vào tốc độ suy luận.

Vì vậy lần này H200 rất có thể sẽ cố tình bỏ qua việc nâng cấp "sức mạnh tính toán" và thay vào đó tập trung vào lý luận.

Phải nói rằng kỹ năng dùng dao của Lão Hoàng vẫn rất chính xác.

Tất nhiên, đây cũng là kỹ năng bóp kem đánh răng cho Lão Hoàng của các kỹ sư Nvidia. Ai đã tạo ra những card đồ họa khác thực sự vượt xa?

Dù chỉ là một cải tiến nhỏ nhưng H200 thực sự có thể xứng đáng với danh hiệu “mạnh nhất thế giới”.

Và theo ước tính của Tập đoàn tài chính Ruijie, giá chip H100 là từ 25.000 đến 40.000 đô la Mỹ và số lượng H200 tăng lên sẽ chỉ cao hơn mức này.

Bây giờ bộ phận đám mây của các công ty lớn như Amazon, Google, Microsoft và Oracle đã thanh toán và xếp hàng chờ giao H200 vào năm tới.

Rốt cuộc, model lớn nào có thể nâng cấp ngẫu nhiên mà không cần hàng nghìn GPU?

Chỉ có thể nói rằng làn sóng người già này đang kiếm tiền trở lại.

Nhưng vấn đề là việc tăng giá không bao giờ là vấn đề đối với chip AI.

Các công ty khởi nghiệp, nhà sản xuất lớn, cơ quan chính phủ, v.v. vẫn đang vắt óc giành lấy H100 trong năm nay nên không cần lo lắng về doanh số H200 năm sau.

“Người và chó đang mua card đồ họa.” Sau lời nói này vào năm ngoái, Musk đã phải quay lại và gia nhập “đội quân cướp thẻ”.

Điều cường điệu hơn nữa là NVIDIA còn cho biết việc ra mắt H200 sẽ không ảnh hưởng đến kế hoạch mở rộng sản xuất của H100.

Tức là năm sau NVIDIA vẫn có kế hoạch bán 2 triệu chip H100. Cũng có thể thấy từ khía cạnh chip AI rất dễ bán.

Nhưng trước tình hình thị trường toàn cầu đang chờ đợi sự hỗ trợ, NVIDIA thực sự có chút không thể làm được điều mình muốn.

Giống như OpenAI, người đầu tiên phát động cuộc cách mạng AI, cuối cùng lại vô cùng đau đớn vì không đủ GPU.

Ví dụ: do không đủ sức mạnh tính toán, GPT của chính họ đã bị phàn nàn bởi nhiều khiếu nại khác nhau rằng API bị kẹt và chậm;

Vì sức mạnh tính toán không đủ Không đủ nên khả năng theo ngữ cảnh mạnh mẽ hơn của GPT chưa bao giờ được tất cả các thành viên phát huy;

Vì sức mạnh tính toán không đủ nên GPT không thể bán thêm các mẫu tùy chỉnh độc quyền cho khách hàng.

Ottman, người sáng lập OpenAI, đã nhiều lần lên tiếng chỉ trích tình trạng thiếu sức mạnh tính toán.

Để giải quyết vấn đề này, OpenAI cũng đã nghĩ ra nhiều cách.

Ví dụ: chip AI tự phát triển, hợp tác chặt chẽ hơn với các nhà sản xuất như NVIDIA và đa dạng hóa nhà cung cấp.

Đầu tháng trước có tin rằng OpenAI đang tìm kiếm các mục tiêu mua lại.

Tiến thêm một bước nữa là Tesla. Vào tháng 7, họ đã ra mắt siêu máy tính Dojo được xây dựng với chip AI D1 tùy chỉnh để huấn luyện hệ thống lái xe tự động.

Vào thời điểm đó, Morgan Stanley đã trực tiếp tung ra một báo cáo nghiên cứu cho biết: Tesla đã tiết kiệm được toàn bộ 6,5 tỷ USD so với A100 của Nvidia.

Tất nhiên, điều này không có nghĩa là chip AI do Musk tự phát triển tốt hơn A100.

Chỉ vì các chip tự phát triển chỉ cần thực hiện công việc của riêng chúng, phù hợp hơn với nhu cầu của chính chúng và không lãng phí sức mạnh tính toán.

Giống như chip của NVIDIA là một nồi hỗn tạp, ai đến ăn cũng có thể no; trong khi chip tự phát triển chỉ là những chiếc bát nhỏ nhưng có thể làm theo sở thích cá nhân. Mặc dù chúng được làm ít hơn nhưng chúng ngon miệng hơn.

Các nhà sản xuất lớn khác cũng không nhàn rỗi. Chẳng hạn, Microsoft muốn phát triển "Athena" của riêng mình và Google đã có những đột phá về chip tự phát triển vào đầu năm.

Nhưng như chúng tôi đã nói trước đây, lần này H200 thực chất chỉ là một "bản nâng cấp giữa kỳ", điều này không đủ để khiến các nhà sản xuất khác thận trọng.

Theo tin tức do chính Nvidia đưa ra, sản phẩm lớn là B100 sẽ ra mắt vào năm sau. Từ hình ảnh có thể thấy rằng ít nhất nó đã được cải thiện theo cấp số nhân.

Vậy, mọi người đã bận rộn một thời gian dài rồi. Trước quyền lực cứng, vị thế của ông Huang có lẽ sẽ ngày càng ổn định hơn.

Có vẻ như ngay cả khi nó tốt hơn Meta, nhưng ngay từ năm 2021, nó đã nhận ra rằng dù có làm gì thì cũng không thể sánh ngang với hiệu suất GPU của Nvidia nên đã quay lại và đặt hàng tỷ đơn đặt hàng từ Lão Hoàng (Meta dường như đang nghĩ đến việc tự nghiên cứu gần đây).

Tôi vẫn nhớ khi Lão Hoàng vừa tuyên bố Nvidia là "TSMC của thời đại AI", nhiều người đã chế nhạo.

Kết quả là bây giờ tôi phát hiện ra rằng những lời này thực chất là những lời nói khiêm tốn của Lão Hoàng.

Sau tất cả, TSMC sẽ “chỉ” chiếm 60% công suất xưởng đúc toàn cầu vào năm 2022, trong khi NVIDIA hiện chiếm hơn 80% thị trường bộ xử lý đồ họa có thể được sử dụng cho máy học.

Tôi luôn cảm thấy rằng khi có bước chuyển lớn của Lão Hoàng, các dự án tự phát triển chip của các nhà sản xuất lớn này có thể sẽ lại chết.