Sự cạnh tranh khác biệt: Kẻ thách thức GPU NVIDIA AI

Ngoài TPU thế hệ tiếp theo, Google cũng sẽ bắt đầu cung cấp đầy đủ GPU H100 của Nvidia cho các nhà phát triển vào cuối năm 2023 như một phần của dòng máy ảo A3.

Amazon AWS

Hiệu suất của Amazon Web Services đã giảm trong sáu quý vừa qua, nhưng hiệu suất của nó trong quý thứ ba đã ổn định, duy trì mức tăng trưởng 12% so với cùng kỳ năm ngoái. Thu nhập hoạt động của phân khúc này cũng tăng 29% so với cùng kỳ năm ngoái lên khoảng 7 tỷ USD.

Vào tháng 5 năm nay, AWS đã ra mắt phiên bản máy ảo EC2P5 dựa trên GPU NVIDIA H100. Cấu hình bao gồm 8 GPU Nvidia H100 TensorCore, mỗi GPU được trang bị bộ nhớ GPU băng thông cao 640GB. Nó cũng có bộ xử lý AMD EPYC thế hệ thứ ba, bộ nhớ hệ thống 2TB, bộ nhớ NVMe cục bộ 30TB, tổng băng thông mạng ấn tượng 3200Gbps và hỗ trợ GPU Direct RDMA. Cái sau cho phép giao tiếp trực tiếp giữa các nút mà không cần sử dụng CPU, do đó giảm độ trễ và cải thiện hiệu suất mở rộng quy mô.

Ngoài ra, các phiên bản Amazon EC2P5 có thể được triển khai trong các cụm siêu quy mô thế hệ thứ hai, được gọi là Amazon EC2 UltraClusters. Các cụm này bao gồm điện toán hiệu năng cao, tài nguyên mạng và lưu trữ đám mây. Các cụm này có thể chứa tới 20.000 GPU H100 TensorCore, cho phép người dùng triển khai các mô hình học máy với hàng tỷ hoặc hàng nghìn tỷ tham số.

Tập đoàn Microsoft

Doanh thu điện toán đám mây của Microsoft đã tăng 24%, đạt 31,8 tỷ USD trong tháng 9. Trong số ba đơn vị kinh doanh chính của Microsoft, Đám mây thông minh có thành tích nổi bật nhất, với doanh thu tăng 19% lên 24,3 tỷ USD. Phân khúc này bao gồm các sản phẩm máy chủ và dịch vụ đám mây, trong đó Azure đạt mức tăng trưởng mạnh mẽ 29%, đánh bại kỳ vọng 26% của Phố Wall.

Vào tháng 3 năm nay, Microsoft đã công bố trong một bài đăng trên blog rằng họ dự định thực hiện một bản nâng cấp lớn cho Azure. Bản nâng cấp sẽ sử dụng hàng chục nghìn card đồ họa H100 tiên tiến của NVIDIA cũng như công nghệ kết nối mạng InfiniBand nhanh hơn.

NDH100v5 cũng sử dụng CPU Intel Xeon có khả năng mở rộng thế hệ thứ tư mới nhất của Intel và đạt được kết nối mạng có độ trễ thấp thông qua công nghệ Quantum-2CX7 InfiniBand của NVIDIA. Chúng cũng được trang bị PCIe Gen5, cung cấp băng thông 64 gigabyte/giây cho mỗi GPU và bộ nhớ DDR5 để có tốc độ truyền dữ liệu nhanh hơn nhằm xử lý các tập dữ liệu đào tạo AI lớn nhất.

Khởi nghiệp thành công

ChatGPT và các ứng dụng khác càng củng cố thêm vị thế của NVIDIA trong ngành trí tuệ nhân tạo. Chip GPU của nó đã trở thành chìa khóa cho nhiều ứng dụng trí tuệ nhân tạo khác nhau. Kết quả là, bất kỳ công ty khởi nghiệp nào muốn thách thức Nvidia trong lĩnh vực này đều phải chịu áp lực rất lớn, vì Nvidia đã thiết lập được sự thống trị và độ tin cậy cho công nghệ của mình.

Cerebras

GPU A100 của Nvidia vốn đã khá ấn tượng với diện tích chip là 826 mm vuông. Để so sánh, chip WSE-2 mới của Cerebras rất lớn, có kích thước 45.225 mm vuông, về cơ bản bao phủ toàn bộ bề mặt của một tấm wafer silicon 8 inch. Kể từ khi thành lập vào năm 2016, Cerebras đã huy động thành công 730 triệu USD tài chính. Công ty hiện được định giá 4 tỷ USD, theo CBInsights Global Unicorn Club.

Cerebras đã hợp tác với G42 của Abu Dhabi để xây dựng siêu máy tính đầu tiên trong số 9 siêu máy tính có trí tuệ nhân tạo trong một dự án trị giá hơn 100 triệu USD. Ngoài ra, Cerebras đang tích cực tìm kiếm cơ hội trong lĩnh vực trí tuệ nhân tạo tổng hợp. Mặc dù mẫu CS-2 của nó có tốc độ huấn luyện nhanh một cách ấn tượng trong môi trường GPT, nhưng nó vẫn chưa được các nhà sản xuất lớn trong ngành áp dụng.

SambaNova

SambaNova được thành lập vào năm 2017 và là một trong những công ty được tài trợ tốt nhất trong ngành công nghiệp chip trí tuệ nhân tạo. Nó đã huy động thành công 1 tỷ USD, với những người ủng hộ đáng chú ý bao gồm SoftBank và Intel. Điều này không chỉ đưa SambaNova trở thành công ty khởi nghiệp về chip AI được tài trợ nhiều nhất mà còn khiến nó trở thành một trong những đối thủ cạnh tranh mới nổi mạnh nhất của Nvidia, với mức định giá lên tới 5 tỷ USD.

SambaNova gần đây đã ra mắt bộ xử lý SN40L thế hệ thứ tư mới nhất của mình. Con chip tiên tiến này được sản xuất trên tiến trình 5nm tiên tiến của TSMC, có hơn 102 tỷ bóng bán dẫn và có tốc độ tính toán lên tới 638 teraflop. Nó có hệ thống bộ nhớ ba tầng độc đáo bao gồm bộ nhớ trên chip, bộ nhớ băng thông cao và bộ nhớ dung lượng cao, tất cả đều được thiết kế để xử lý hiệu quả các luồng dữ liệu khổng lồ liên quan đến khối lượng công việc AI. SambaNova tuyên bố rằng chỉ 8 con chip như vậy trong một nút có thể hỗ trợ các mô hình có tới 50 nghìn tỷ tham số, gấp gần ba lần so với báo cáo GPT-4LLM của OpenAI.

Tenstorrent

Tenstorrent là một công ty khởi nghiệp nổi tiếng khác trong ngành chip trí tuệ nhân tạo, được thành lập vào năm 2016. Công ty đã huy động được gần 335 triệu USD vốn tài trợ cho đến nay, với các khoản đầu tư gần đây từ các công ty lớn bao gồm Samsung và Hyundai Motor, và hiện đang hiện có giá trị khoảng 1 tỷ USD.

Tenstorrent đang hướng tới thách thức sự thống trị của Nvidia trong lĩnh vực trí tuệ nhân tạo và phát triển CPU trí tuệ nhân tạo sử dụng công nghệ RISC-V và Chiplet. Điều đáng chú ý là công ty gần đây đã đạt được hợp tác sản xuất với Samsung và có ý định sử dụng quy trình 4nm tiên tiến của Samsung để sản xuất chip. Sự hợp tác này thể hiện cam kết của Tenstorrent trong việc thúc đẩy công nghệ và cạnh tranh trên thị trường chip trí tuệ nhân tạo.

Khởi nghiệp không quá thành công

Gr aphcore

Graphcore đã đạt được những kết quả đáng chú ý trong lĩnh vực khởi nghiệp bán dẫn ở Châu Âu, đặc biệt là về mặt huy động vốn. Công ty được thành lập vào năm 2016 bởi Nigel Toon và Simon Knowles và tập trung phát triển các đơn vị xử lý thông minh (IPU), khác với GPU (đơn vị xử lý đồ họa) thường được sử dụng trong các ứng dụng trí tuệ nhân tạo. Graphcore tuyên bố rằng công nghệ IPU của họ có lợi thế rõ ràng so với GPU trong việc đáp ứng các yêu cầu đặc biệt của trí tuệ nhân tạo.

Dữ liệu của PitchBook cho thấy Graphcore đã nhận được thành công hơn 600 triệu USD tiền đầu tư. Tuy nhiên, dù nhận được nguồn tài trợ đáng kể nhưng doanh thu của công ty vẫn tương đối hạn chế. Tình thế đó chuyển biến lớn vào năm 2020, khi Microsoft quyết định ngừng sử dụng chip của Graphcore trong các trung tâm điện toán đám mây của mình, khiến công ty mất đi một khách hàng lớn và tạo ra những thách thức nghiêm trọng hơn.

Theo Financial Times, doanh thu của Graphcore sẽ giảm mạnh 46% vào năm 2022, chỉ còn 2,7 triệu USD. Trong khi đó, khoản lỗ trước thuế của công ty tăng 11% lên 204,6 triệu USD, khiến số dư tiền mặt cuối năm là 157 triệu USD. Graphcore cho biết họ sẽ cần thêm nguồn tài chính để hòa vốn vào tháng 5 năm sau. Công ty cho rằng sự thất bại này là do "điều kiện kinh tế vĩ mô không thuận lợi" và sự chậm trễ trong việc mua sắm phần cứng từ "các khách hàng chiến lược quan trọng", đặc biệt là ở Trung Quốc.

Hiện tại, Graphcore đang điều chỉnh chiến lược kinh doanh của mình để chuyển đổi chip IPU từ trung tâm dữ liệu sang môi trường điện toán đám mây. Sự thay đổi này là sự điều chỉnh chiến lược được công ty thực hiện nhằm thích ứng với động lực thị trường đang thay đổi và những thách thức của ngành bán dẫn.

GSI Technologies Inc.(GSIT)

Như được hiển thị trong Bảng 1, Gemini-I hoạt động tốt hơn các loại bộ xử lý khác. Chip Gemini-I có thể thực hiện 2 triệu thao tác x1 bit trên mỗi chu kỳ xung nhịp 600 MHz và có băng thông bộ nhớ 26TB/giây, trong khi Intel Xeon 8280 có thể thực hiện các thao tác 28x2x512 bit ở tốc độ 2,7 GHz và có băng thông bộ nhớ 1TB/giây.

Trong quý 2 năm tài chính 2024, công ty lỗ ròng 4,1 triệu USD và thu nhập ròng 5,7 triệu USD, tương đương 0,16 USD trên mỗi cổ phiếu pha loãng. Hiệu suất này trái ngược hoàn toàn với khoản lỗ ròng 3,2 triệu USD, lỗ ròng suy giảm trên mỗi cổ phiếu là 0,13 USD và thu nhập ròng 9 triệu USD trong quý 2 năm tài chính 2023. Ngoài ra, trong quý đầu tiên của năm tài chính 2024, khoản lỗ ròng của công ty là 5,1 triệu USD, tương đương 0,21 USD trên mỗi cổ phiếu pha loãng, trên thu nhập ròng là 5,6 triệu USD.

Biên lợi nhuận gộp trong quý 2 năm tài chính 2024 là 54,7%, thấp hơn mức 62,6% cùng kỳ năm ngoái và thấp hơn một chút so với mức 54,9% của quý đầu tiên. Dữ liệu này cho thấy hiệu suất tài chính và xu hướng lợi nhuận của công ty trong một khoảng thời gian cụ thể.

Mythic

Mythic là công ty nổi tiếng chuyên về mô phỏng chip trí tuệ nhân tạo, tập trung vào công nghệ bộ nhớ máy tính (CIM). Tuy nhiên, theo báo cáo của trang web công nghệ TheRegister, startup chip trí tuệ nhân tạo này phải đối mặt với những thách thức lớn về tài chính. Mặc dù ban đầu công ty đã huy động được khoảng 160 triệu USD vốn tài trợ nhưng công ty đã gặp khó khăn về tài chính trong năm qua và đang đứng trước nguy cơ ngừng hoạt động.

May mắn thay, vào tháng 3 năm 2023, Mythic đã nhận được thành công khoản đầu tư 13 triệu USD, cho phép công ty tiếp tục hoạt động. Dave Rick, Giám đốc điều hành của Mythic, nói rằng Nvidia đã gián tiếp gây ra tình thế tiến thoái lưỡng nan về tài chính cho chip AI trên diện rộng. Đó là bởi vì các nhà đầu tư có xu hướng hướng tới các cơ hội có tiềm năng mang lại lợi nhuận khổng lồ, tạo ra môi trường đầy thách thức cho các công ty khởi nghiệp về chip AI như Mythic trong việc có được nguồn vốn cần thiết để hoạt động.

Rivos

Nhà sản xuất chip máy chủ Rivos đã vướng vào một vụ tranh chấp pháp lý với Apple, bị cáo buộc tuyển dụng trái phép các kỹ sư của Rivos và chiếm đoạt bí mật thương mại. Vào tháng 8 năm 2023, Rivos không may đã thực hiện biện pháp sau là sa thải khoảng 20 người, chiếm khoảng 6% tổng số nhân viên của công ty. Trong quá trình đó, ban quản lý đã tiết lộ với các nhân viên còn lại rằng triển vọng về nguồn tài trợ mới của công ty ngày càng mờ mịt.

NVIDIA INVESTMENTS

Đầu tư mạo hiểm vào các công ty khởi nghiệp chip đang trải qua sự sụt giảm chưa từng có, phần lớn là do Nvidia thống trị thị trường chip trí tuệ nhân tạo. Dữ liệu từ Mỹ cho thấy khối lượng giao dịch của các công ty khởi nghiệp về chip đã giảm 80% so với năm trước, một mức giảm đáng kinh ngạc.

Dữ liệu của PitchBook cho thấy các công ty khởi nghiệp về chip của Hoa Kỳ đã huy động được 881,4 triệu USD tính đến cuối tháng 8. Con số này so với 1,79 tỷ USD huy động được trong ba quý đầu năm 2022. Tính đến cuối tháng 8, số lượng giao dịch đã giảm từ 23 xuống còn 4. Tuy nhiên,

Nvidia vẫn là trung tâm của vũ trụ đầu tư của riêng họ. Hình 3 hiển thị dữ liệu Pitchbook tính đến ngày 23 tháng 10 năm 2023, kể từ khi ra mắt ChatGPT, trong đó có các khoản đầu tư chiến lược quan trọng nhất. Nvidia là nhà đầu tư của tất cả trừ hai công ty.

Nvidia là nhà đầu tư tích cực nhất, không chỉ trong số các khoản đầu tư hàng đầu theo quy mô mà còn về tổng khối lượng. gần một nửa số khoản đầu tư được thực hiện từ tháng 11 năm 2022 đến tháng 10 năm 2023 đều có NVIDIA .

Chiến lược đầu tư của Nvidia dường như chủ yếu tập trung vào các công ty đang trong giai đoạn tăng trưởng, với hơn 75% khoản đầu tư của họ đổ vào lĩnh vực này. Đáng chú ý, họ đã tham gia vào 8 trên 10 vòng gọi vốn lớn nhất trong giai đoạn này. Cơ sở hạ tầng/LLM (Mô hình học tập tương tự) là lĩnh vực đầu tư chính của họ, chiếm gần một nửa tổng vốn đầu tư của họ. Chăm sóc sức khỏe/điều trị là lĩnh vực đầu tư quan trọng tiếp theo của Nvidia.

Cảm hứng của nhà đầu tư

Hiện tại, có vẻ như khó có công ty mới nổi nào có thể trở thành công ty lớn thứ ba trên thị trường GPU cùng với những gã khổng lồ trong ngành là Nvidia và AMD. Ngay cả gã khổng lồ chip Intel Corp. cũng gặp phải thách thức khi cố gắng phát triển GPU cao cấp được game thủ ưa chuộng. GPU rời tiếp theo của Intel dự kiến ​​​​ra mắt vào năm 2025. Tình hình này càng làm nổi bật vị thế vững chắc của Nvidia và AMD trên thị trường GPU, với sự cạnh tranh dự kiến ​​sẽ rất hạn chế trong thời gian tới.

Hóa ra GPU là phần cứng lý tưởng để xử lý các phép tính lớn cần thiết cho các mô hình ngôn ngữ lớn (LLM) như GPT-3, có thể liên quan đến việc đào tạo về một số lượng lớn tham số, chẳng hạn như 175 tỷ tham số của GPT-3. NVIDIA đã củng cố vị thế của mình một cách chiến lược trong lĩnh vực này bằng cách phát triển và mở rộng nền tảng phần mềm Cuda. Cuda cung cấp một loạt thư viện, trình biên dịch, khung và công cụ phát triển độc quyền để cung cấp cho các chuyên gia trí tuệ nhân tạo những công cụ họ cần để xây dựng mô hình. Điều quan trọng nhất là Cuda là sản phẩm độc quyền của GPU NVIDIA. Sự tích hợp phần mềm và phần cứng này giúp giảm đáng kể chi phí chuyển đổi của khách hàng trong lĩnh vực trí tuệ nhân tạo và nâng cao lợi thế cạnh tranh của NVIDIA.

Ngay cả khi có những đối thủ cạnh tranh sản xuất chip sản xuất các sản phẩm tương đương với GPU của Nvidia, các nhà phân tích có lý do để tin rằng mã và mô hình đã được xây dựng trên CUDA có thể không dễ dàng chuyển sang các GPU khác. Điều này mang lại cho Nvidia một lợi thế vốn có. Mặc dù có thể có các lựa chọn thay thế không dựa vào GPU Cuda hoặc Nvidia, Nvidia phải đối mặt với sự cạnh tranh tối thiểu trong lĩnh vực này kể từ năm 2023. Do đó, bất kỳ ai tham gia phát triển LLM trong khi chờ đợi các lựa chọn thay thế đều có nguy cơ bị tụt lại phía sau khi Nvidia tiếp tục thống trị lĩnh vực này.

Khi đánh giá bối cảnh cạnh tranh trong ngành chip, có thể thấy rõ rằng Nvidia phải đối mặt với nhiều đối thủ cạnh tranh và các mối đe dọa tiềm tàng:

AMD: AMD là nhà sản xuất chip được tài trợ tốt với chuyên môn về GPU mạnh mẽ. Tuy nhiên, điểm yếu tương đối về phần mềm có thể khiến nó không thể cạnh tranh hiệu quả với Nvidia.

Intel : Mặc dù Intel chưa đạt được nhiều thành công với bộ tăng tốc AI hoặc GPU nhưng không nên đánh giá thấp khả năng của nó. Là một công ty lớn trong ngành bán dẫn, Intel có đủ nguồn lực và khả năng để đạt được tiến bộ đáng kể trong lĩnh vực này.

Giải pháp tại chỗ dành cho doanh nghiệp siêu quy mô: Các công ty như Google, Amazon, Microsoft và MetaPlatform đều đang phát triển chip nội bộ của riêng mình như TPU, Trainium và Inferentia. Mặc dù những con chip này có thể hoạt động tốt trong những khối lượng công việc cụ thể nhưng chúng có thể không thể vượt trội hơn GPU của Nvidia trong nhiều ứng dụng.

Các công ty điện toán đám mây: Các nhà cung cấp điện toán đám mây cần cung cấp nhiều loại GPU và bộ tăng tốc để đáp ứng nhu cầu của khách hàng doanh nghiệp chạy khối lượng công việc trí tuệ nhân tạo. Mặc dù Amazon và Google có thể sử dụng chip nội bộ cho các mô hình AI của riêng họ, nhưng việc thuyết phục nhiều khách hàng doanh nghiệp tối ưu hóa mô hình AI của họ cho các chất bán dẫn độc quyền này có thể dẫn đến việc bị nhà cung cấp khóa, điều mà các doanh nghiệp thường tránh.

Bất chấp những lực lượng cạnh tranh này, khách hàng doanh nghiệp dự kiến ​​sẽ tiếp tục yêu cầu các nhà cung cấp GPU thương mại trung lập. Nvidia có khả năng duy trì vị trí dẫn đầu thị trường trong tương lai gần, chủ yếu nhờ khả năng tích hợp phần mềm và phần cứng mạnh mẽ, áp dụng rộng rãi nền tảng phần mềm CUDA và chi phí chuyển đổi khách hàng đáng kể liên quan đến công nghệ của nó. Những yếu tố này cùng nhau tạo nên lợi thế cạnh tranh của Nvidia và giúp củng cố vị thế của hãng trên thị trường chip trí tuệ nhân tạo.