Bài kiểm tra suy luận mô hình lớn GPT mới nhất của MLPerf đã được phát hành! Hãng điện toán nội địa này lại đứng đầu thế giới với hiệu năng gấp tới 1,8 lần NVIDIA H100. Khi các ứng dụng AIGC như ChatGPT tạo ra một làn sóng mô hình lớn, lớp sức mạnh điện toán, với tư cách là cơ sở hạ tầng, đã trở thành ngành đầu tiên được hưởng lợi.

Tuy nhiên, các vấn đề như nhu cầu năng lượng tính toán cao và chi phí cao đã trở thành điểm yếu chung của các doanh nghiệp khi triển khai các mô hình lớn và có nhiều khả năng hạn chế sự phát triển về phía trước của AI: các tham số mô hình lớn đang tăng lên từng ngày, trong khi tình trạng thắt cổ chai về nguồn điện tính toán sắp xảy ra, tạo ra mâu thuẫn rất lớn giữa cả hai.

Cách khám phá các giải pháp sức mạnh điện toán mô hình lớn tốt hơn là trọng tâm của ngành.

Mới đây, tổ chức đánh giá uy tín thế giới MLPerf đã công bố kết quả đánh giá suy luận mới nhất. Đây là lần đầu tiên MLPerf giới thiệu thử nghiệm suy luận mô hình lớn GPT. Tỷ lệ tham gia đã đạt kỷ lục mới, với hơn 13.500 kết quả hoạt động được gửi bởi NVIDIA, Intel, Google, Qualcomm và các công ty khác.

Trong MLPerfInference3.1, card điện toán MoffetAI S30 được xếp hạng đầu tiên trên mẫu lớn GPT-J (6 tỷ tham số), với sức mạnh tính toán thẻ đơn, 4 thẻ và 8 thẻ xếp hạng đầu tiên.


Đây là lần bảo vệ danh hiệu thứ ba liên tiếp cho Ink Core tại MLPerf.

Trước đây, lõi mực đã giành vị trí đầu tiên trong MLPerfInference2.0 và 2.1 trong hai năm liên tiếp.


Thẻ máy tính lõi mực S30

Thành tựu của lõi mực đã mang đến những hướng đi sáng tạo khả thi cho các giải pháp sức mạnh điện toán mô hình lớn.

Sự thật đã chứng minh rằng sự hợp tác đổi mới phần mềm và phần cứng kết hợp các mô hình AI và nền tảng điện toán có thể giải phóng tiềm năng sức mạnh tính toán lớn hơn. Điều này cũng một lần nữa chứng minh rằng các công nghệ tiên tiến được thể hiện bằng điện toán thưa thớt sẽ là chìa khóa cho sự phát triển sức mạnh tính toán trong kỷ nguyên của các mô hình lớn.

Lõi mực tham gia vào phân vùng mở MLPerf. Theo nhà tổ chức MLCommons, phân vùng này được thiết kế để khuyến khích sự đổi mới. Do đó, thí sinh có thể khám phá các cách cải thiện sức mạnh tính toán thông qua sự cộng tác giữa phần mềm và phần cứng.

Trên mẫu lớn GPT-J trong MLPerf, so với giải pháp tăng tốc phần cứng thuần túy H100 của quy trình 4nm, card máy tính Ink Core S30 của quy trình 12nm đã đạt được lợi thế lên tới 1,8 lần thông qua phương pháp tiếp cận "thuật toán thưa kép nguyên bản + cộng tác phần cứng" của .

Mô hình GPT-J trong đánh giá này là mô hình AI tổng hợp. Hiệu năng của card điện toán Ink Core S30 ở chế độ 8 thẻ, 4 thẻ và 1 thẻ lần lượt là 170,5. 9, 91,57, 23,28 (Sample/s), đạt hiệu năng gấp 1,6 lần, 1,8 lần và 1,8 lần so với NVIDIA H100, thể hiện khả năng của sản phẩm lõi mực trong các tác vụ AIGC.


đã ba lần giành chức vô địch. Sức mạnh tính toán mô hình lớn là người đầu tiên "gửi giấy", và sự hợp tác giữa phần mềm và phần cứng tiếp tục đổi mới. Sức mạnh sản phẩm của Ink Core đã được MLPerf kiểm tra nghiêm ngặt nhiều lần và nó cũng đã khám phá những con đường mới để phát triển sức mạnh tính toán mô hình lớn.

01

Điện toán thưa thớt - "Nguồn hàng tiềm năng" của các mẫu lớn đã được thị trường công nhận

Kết quả xuất sắc của lõi mực chủ yếu là do sự hợp tác thiết kế của phần mềm và phần cứng dựa trên thuật toán thưa thớt.

Trong thời đại của các mô hình lớn, tầm quan trọng của tính toán thưa thớt là điều hiển nhiên: kích thước của mô hình AI tỷ lệ thuận với tiềm năng phân tán của nó.

Nói cách khác, khi mô hình lớn hơn thì khả năng xảy ra độ thưa trong thuật toán cao hơn và mức độ tăng tốc của các phép tính thưa thớt cũng cao hơn. Đối với các mô hình ngôn ngữ lớn nói chung, tính toán thưa thớt có thể mang lại khả năng tăng tốc gấp hàng chục lần.

Thuật toán thưa kép ban đầu của Inkcore, kết hợp với thiết kế hợp tác phần mềm và phần cứng, biến chip Antoum® của Inkcore trở thành chip AI có độ phóng đại thưa thớt cao đầu tiên trên thế giới, hỗ trợ độ thưa lên tới 32 lần—đây là chìa khóa cho hiệu suất phá kỷ lục của Inkcore trong MLPerf này.

Mô hình càng lớn thì lợi thế của tính toán thưa càng rõ ràng - đặc biệt trong tình hình hiện nay khi thông số của các mô hình lớn như GPT thường lên tới hàng chục tỷ hoặc hàng trăm tỷ khiến hào của lõi mực ổn định hơn.

Sức mạnh sản phẩm của lõi mực và xu hướng chung của điện toán thưa thớt cũng đã được ngành công nhận: Quá trình thương mại hóa lõi mực đã liên tiếp đạt được những bước đột phá quan trọng, giúp doanh nghiệp tăng tốc ứng dụng AI.

Mới đây, Ink Core đã chính thức trở thành một trong những nhà cung cấp hỗ trợ ByteMLPerf.


Nguồn: Trang web ByteMLPerf

Địa chỉ dự án: https://github.com/bytedance/ByteML Perf/blob/main/README.md

Hiện tại, nền tảng điện toán Ink Core AI có thể hỗ trợ các mô hình lớn với các mức tham số khác nhau, bao gồm BLOOM, OPT, GPT-J, LLaMA, StableDiffusion, v.v.

Đồng thời, nó có đặc tính cao thông lượng, độ trễ thấp và mức tiêu thụ điện năng thấp, giúp giảm bớt khó khăn về sức mạnh tính toán và thực sự mang lại giải pháp sức mạnh tính toán mô hình lớn “dễ sử dụng” và “giá cả phải chăng” cho doanh nghiệp.

02

mang đến những thay đổi cơ bản về sức mạnh tính toán và tính toán thưa thớt giúp phát triển mô hình Lida

Giải pháp điện toán thưa thớt của lõi mực không chỉ có thể giảm bớt vấn đề sức mạnh tính toán hiện tại mà còn mở ra không gian mới cho sự phát triển bền vững của AI.

Tính toán thưa thớt làm giảm lượng tính toán của các mô hình AI, nghĩa là các mô hình lớn có thể tăng số lượng tham số lên nhiều bậc độ lớn mà không tạo ra quá nhiều lượng tính toán. Mâu thuẫn giữa sự tăng trưởng tham số mô hình lớn và tắc nghẽn về năng lực tính toán dự kiến ​​sẽ được giải quyết về cơ bản.

Đồng thời, do khối lượng tính toán giảm nên các điểm yếu của các mô hình lớn như yêu cầu năng lực tính toán cao, mức tiêu thụ điện năng cao và chi phí cao cũng đã được giải quyết, đạt được hiệu ứng "đôi bên cùng có lợi".


Lõi mực Chip Antoum: chip AI có độ phóng đại thưa thớt đầu tiên trên thế giới, hỗ trợ thưa thớt lên tới 32 lần


2Kết quả xuất sắc của ba các MLPerf liên tiếp không chỉ chứng minh sức mạnh của các sản phẩm lõi mực mà còn mang đến những khám phá mới cho ngành: Với sự trợ giúp của các công nghệ như điện toán thưa thớt, việc phát triển và ứng dụng các mô hình lớn dự kiến sẽ mở ra một không gian phát triển rộng hơn, đẩy nhanh sự phát triển của AIGC và các ứng dụng khác trong mọi tầng lớp xã hội.

03

TAGPH 49Giới thiệu về MLPerf

MLPerf Được khởi xướng bởi Turing Người đoạt giải David Patterson phối hợp với các tổ chức học thuật hàng đầu như Google, Stanford và Đại học Harvard, đây là bài kiểm tra điểm chuẩn hiệu suất AI quốc tế có thẩm quyền và có ảnh hưởng nhất nhằm tiến hành theo dõi và đánh giá kịp thời các yêu cầu và hiệu suất điện toán AI đang phát triển nhanh chóng.