GPU NVIDIA đã vượt xa trong lĩnh vực AI và HPC, nhưng nó không phải là mạnh nhất, chỉ mạnh hơn. Giờ đây, NVIDIA đã phát hành bộ tăng tốc HGXH200 mới, có thể xử lý dữ liệu khổng lồ về khối lượng công việc AIGC và HPC. Một tính năng chính của NVIDIAH200 là là thế hệ bộ nhớ băng thông cao HBM3e đầu tiên (được cho là của SK Hynix). Dung lượng của một bộ nhớ đơn lên tới 141GB (dung lượng ban đầu là 144GB nhưng được che chắn một chút để cải thiện hiệu suất) và băng thông lên tới 4,8TB/s.
So với H100, dung lượng đã tăng 76% và băng thông tăng 43%. So với A100 thế hệ trước, dung lượng đã tăng gần gấp đôi và băng thông tăng 2,4 lần.
Nhờ công nghệ kết nối tốc độ cao NVLink và NVSwitch, H200 cũng có thể được kết nối song song theo bốn hoặc tám cách, do đó dung lượng bộ nhớ HBM3e của một hệ thống có thể lên tới 1128GB, tức là 1,1TB.
Nó chỉ thua kém một chút so với AMDInstinctMI300X được trang bị 192GBHBM3 và có băng thông lên tới 5,2TB/s.
Về hiệu suất, H200 một lần nữa đạt được bước nhảy vọt, khẩu hiệu 70 tỷ tham số Llama2 Hiệu suất suy luận mô hình ngôn ngữ được cải thiện tới 90% so với H100 và hiệu suất suy luận mô hình GTP-3 với 175 tỷ tham số cũng được cải thiện 60%. So với hiệu suất mô phỏng A100HPC thế hệ trước, nó trực tiếp tăng gấp đôi.
Trong hệ thống H200 tám chiều, hiệu suất điện toán học sâu FP8 có thể vượt quá 32PFlops, tức là 320 triệu phép tính dấu phẩy động mỗi giây, tương đương với một siêu máy tính lớn.
Với việc liên tục nâng cấp phần mềm trong tương lai, H200 được kỳ vọng sẽ tiếp tục phát huy tiềm năng và đạt được những lợi thế về hiệu suất cao hơn.
Ngoài ra, H200 cũng có thể được sử dụng với bộ xử lý CPU NVIDIA Grace sử dụng công nghệ kết nối NVLink-C2C tốc độ cực cao để tạo thành siêu chip GH200GraceHopper , một mô-đun điện toán được thiết kế đặc biệt cho các ứng dụng HPC và AI quy mô lớn.
NVIDIAH200 sẽ có sẵn từ Q2 2024 thông qua các nhà sản xuất hệ thống và nhà cung cấp dịch vụ đám mây toàn cầu.