Hôm thứ Hai, gã khổng lồ ngành bán dẫn Nvidia đã phát hành chip trí tuệ nhân tạo (AI) H200 thế hệ mới, được thiết kế để đào tạo và triển khai nhiều mô hình AI khác nhau. Chip H200 là phiên bản nâng cấp của chip H100 hiện đang được sử dụng để đào tạo các mô hình ngôn ngữ quy mô lớn tiên tiến nhất. Nó được trang bị bộ nhớ 141GB và đặc biệt thực hiện tốt các tác vụ “suy luận”. Khi thực hiện suy luận hoặc đưa ra câu trả lời cho câu hỏi, hiệu suất của H200 cao hơn H100 từ 60% đến 90%.
Theo trang web chính thức của NVIDIA, dựa trên kiến trúc “Hopper” của NVIDIA, H200 là chip đầu tiên của hãng sử dụng bộ nhớ HBM3e. Bộ nhớ này nhanh hơn và lớn hơn nên phù hợp hơn với các mô hình ngôn ngữ lớn.
NVIDIA cho biết H200 sử dụng bộ nhớ HBM3e cung cấp dung lượng 141GB với tốc độ 4,8TB/giây. So với A100, dung lượng của nó đã tăng gần gấp đôi và băng thông cũng tăng gấp 2,4 lần.
H200 dự kiến sẽ có mặt trên thị trường vào quý 2 năm 2024, nơi nó sẽ cạnh tranh với GPU MI300X của AMD. Tương tự như H200, chip mới của AMD có nhiều bộ nhớ hơn so với phiên bản tiền nhiệm, giúp ích cho việc chạy các phép tính suy luận trên các mô hình ngôn ngữ lớn.
Nvidia cũng cho biết H200 sẽ tương thích với H100, có nghĩa là các công ty AI đang sử dụng H100 để đào tạo sẽ không cần thay đổi hệ thống máy chủ hoặc phần mềm của họ để thích ứng với H200.
Ian Buck, phó chủ tịch NVIDIA, cho biết: "Để đào tạo AI sáng tạo và các ứng dụng điện toán hiệu suất cao, GPU hiệu suất cao. Với H200, nền tảng siêu máy tính AI hàng đầu trong ngành có thể giải quyết một số thách thức quan trọng nhất của thế giới nhanh hơn.”
Sản phẩm điện toán tăng tốc hàng đầu của NVIDIA. Giám đốc sản phẩm Dion Harris cho biết: "Quan sát sự năng động trên thị trường, bạn có thể thấy rằng quy mô của các mẫu xe lớn đang mở rộng nhanh chóng. Đây là một ví dụ khác về cách chúng tôi tiếp tục dẫn đầu công nghệ mới nhất và tốt nhất."
Theo tổ chức tài chính Mỹ Raymond James, giá thành của chip H100 chỉ là 3.320 USD, nhưng giá số lượng mà NVIDIA dành cho khách hàng của mình cao tới 25.000 USD đến 40.000 USD. Điều này làm cho tỷ suất lợi nhuận của H100 có thể lên tới 1.000%, khiến nó trở thành một trong những con chip có lợi nhuận cao nhất từng được sản xuất.
Việc đào tạo các mô hình ngôn ngữ lớn thường yêu cầu hàng nghìn cụm H100 làm việc cùng nhau, vì vậy các gã khổng lồ công nghệ, các công ty khởi nghiệp và cơ quan chính phủ đều đang cạnh tranh nguồn cung chip hạn chế của Nvidia.
Nhờ nhu cầu dường như vô độ đối với các sản phẩm của mình, Nvidia đã chứng kiến doanh số bán hàng tăng vọt trong năm nay, với giá cổ phiếu tăng 230% và vốn hóa thị trường của nó đạt mốc 1,2 nghìn tỷ USD. Tính đến cuối ngày thứ Hai, cổ phiếu đóng cửa tăng 0,59% ở mức 486,2 USD.
Bài viết liên quan: