Truyền thông nước ngoài tung tin Meta đang khẩn trương phát triển một mô hình lớn nguồn mở mới, đo điểm chuẩn GPT-4, với thông số lớn hơn nhiều lần so với Llama2. Phải chăng Meta sắp lật đổ cộng đồng AI một lần nữa? Theo phương tiện truyền thông nước ngoài "Wall Street Journal", Meta đang đẩy mạnh phát triển mô hình ngôn ngữ lớn mới. Khả năng của nó sẽ hoàn toàn phù hợp với GPT-4 và dự kiến ​​sẽ ra mắt vào năm tới.


Tin tức cũng đặc biệt nhấn mạnh rằng mô hình ngôn ngữ lớn mới của Meta sẽ lớn hơn Llama2 vài lần và rất có thể nó sẽ là nguồn mở và hỗ trợ sử dụng thương mại miễn phí.

Kể từ khi Meta "vô tình" rò rỉ LlaMA vào đầu năm, cho đến khi phát hành mã nguồn mở Llama2 vào tháng 7, Meta dần tìm được vị thế độc tôn của mình trong làn sóng AI này - ngọn cờ của cộng đồng mã nguồn mở AI.


01

Sốc nhân sự Có những thăng trầm liên tục và khả năng của mô hình còn thiếu sót. Chúng tôi dựa vào nguồn mở để quay lại bảng chính

Đầu năm, sau khi OpenAI làm bùng nổ ngành công nghệ với GPT-4, Google và Microsoft cũng cho ra mắt các sản phẩm AI của riêng mình.

Vào tháng 5, các cơ quan quản lý Hoa Kỳ đã mời CEO của các công ty hàng đầu mà họ cho là có liên quan đến ngành AI vào thời điểm đó tổ chức một cuộc họp bàn tròn để thảo luận về sự phát triển của công nghệ AI.

OpenAI, Google và Microsoft đều được mời, thậm chí cả công ty khởi nghiệp Anthropic cũng được tham gia, nhưng Meta không có mặt. Phản hồi chính thức về sự vắng mặt của Meta vào thời điểm đó là: “Chúng tôi chỉ mời những công ty hàng đầu trong ngành AI”.


Những điều tốt đẹp đã không xảy ra với Meta nhưng rắc rối vẫn liên tục ập đến.

Đầu tiên, một lá thư chất vấn từ Quốc hội đã được gửi trực tiếp đến Xiao Zha vào đầu tháng 6, yêu cầu anh ta giải thích nguyên nhân và hậu quả của vụ rò rỉ LlaMA vào tháng 3 bằng những lời lẽ nghiêm khắc.


Trong những tháng tiếp theo, ngay cả sau khi phát hành Llama2, nhóm AI mà Meta đã bỏ ra rất nhiều tiền để xây dựng vẫn dần tan rã.

Trong sự ghi nhận của Llama2, ba trong số bốn nhóm được đề cập lần đầu tiên bắt đầu nghiên cứu này đã từ chức và hiện chỉ còn EdouardGrave vẫn còn ở Meta.


Người khổng lồ trong ngành He Yuming cũng sẽ rời Meta và quay trở lại học viện.


Theo một bài báo nổi bật gần đây trên The Information, nhóm AI của Meta đã liên tục gặp xích mích do cạnh tranh về sức mạnh tính toán nội bộ và các nhân sự lần lượt rời đi.

Trong bối cảnh này, bản thân Xiao Zha cũng nên biết rất rõ rằng mô hình ngôn ngữ lớn của Meta thực sự không thể cạnh tranh với GPT-4 tiên tiến nhất trong ngành.

Cho dù dựa trên các bài kiểm tra điểm chuẩn theo nhiều hướng khác nhau hay phản hồi của người dùng, khoảng cách giữa Llama2 và GPT-4 vẫn còn tương đối lớn.


Trong các thử nghiệm điểm chuẩn khác nhau, vẫn có khoảng cách lớn giữa Llama2 và GPT-4 nguồn mở

TAGP H112

Trải nghiệm thực tế của cư dân mạng cũng không ngừng nhấn mạnh rằng GPT-4 vẫn vượt xa Llama2

Vì vậy, Xiao Zha quyết định để Meta trực tiếp tiếp tục chạy trên con đường hướng tới các mô hình nguồn mở.

Có lẽ logic đằng sau Xiaozha là thế này: mô hình Meta có khả năng trung bình và không thể đánh bại các ông lớn nguồn đóng nên chẳng ích gì khi giấu nó. Sau đó, chỉ cần mã nguồn mở và để cộng đồng AI tiếp tục lặp lại dựa trên các mô hình của riêng mình để mở rộng tầm ảnh hưởng của các sản phẩm của mình trong ngành.

Và Xiao Zha đã hơn một lần nói trước công chúng rằng việc lặp lại mô hình riêng của cộng đồng nguồn mở sẽ truyền cảm hứng cho đội ngũ kỹ thuật của anh ấy để phát triển các sản phẩm cạnh tranh hơn trong tương lai.


Xiao Zha đã nhấn mạnh trong podcast của Fridman rằng nguồn mở cho phép Meta lấy cảm hứng từ cộng đồng và Meta có thể ra mắt mô hình nguồn đóng trong tương lai. Xem: https://lexfridman.com/mark-zuckerberg-2/

Và sự thật đã chứng minh sự lựa chọn của Meta quả thực đúng đắn.

Mặc dù thua kém Google và OpenAI về tài nguyên máy tính và sức mạnh kỹ thuật, các mô hình nguồn mở như Llama2 của Meta vẫn không ai sánh bằng về sức hấp dẫn đối với cộng đồng nguồn mở. Khi Llama2 dần trở thành "cơ sở kỹ thuật" của cộng đồng nguồn mở AI, Meta cũng đã tìm được chỗ đứng sinh thái của riêng mình trong ngành.

Dấu hiệu rõ ràng nhất là trong cuộc họp kín của Quốc hội về AI sẽ được tổ chức vào tháng 9, Xiao Zha cuối cùng đã trở thành khách mời của các cơ quan quản lý. Cùng với CEO của những công ty tiên tiến nhất trong ngành như Google và OpenAI, ông đóng vai trò là người đại diện bày tỏ tiếng nói của chính mình về các quy định của ngành AI.


Nếu mô hình mới do Meta ra mắt vào năm tới có thể tiếp tục đạt được tiến bộ và đạt được các khả năng tương tự như GPT-4, một mặt, nó sẽ cho phép cộng đồng nguồn mở tiếp tục thu hẹp khoảng cách với những gã khổng lồ nguồn đóng, xác nhận tuyên bố rằng "khoảng cách giữa cộng đồng nguồn mở và trình độ tiên tiến nhất trong ngành là khoảng một năm."

Mặt khác, Xiao Zha cũng tiết lộ trong cuộc phỏng vấn rằng nếu khả năng của mô hình lớn được cải thiện hơn nữa trong tương lai, Meta có thể ra mắt mô hình nguồn đóng của riêng mình. Nếu mô hình mới có thể tiếp cận sâu hơn với SOTA của ngành, thì việc Meta tung ra mô hình nguồn đóng của riêng mình không còn xa nữa.

Mặc dù Meta dường như tạm thời bị tụt lại phía sau trong làn sóng AI này, nhưng tham vọng của Xiao Zha không sẵn sàng chỉ là một kẻ đi theo.

Dưới sự hướng dẫn của “AI Big Three” Yann Lecun, Meta cũng đang chuẩn bị lật đổ toàn bộ ngành công nghiệp.

02

Meta Tương lai của

Vì vậy, sau mô hình cỡ lớn bí ẩn huyền thoại này có thể sánh ngang với GPT-4, tương lai của MetaAI sẽ ra sao?

Vì chưa có thông tin cụ thể nên chúng ta chỉ có thể đưa ra một số phỏng đoán, chẳng hạn như bắt đầu từ thái độ của nhà khoa học trưởng MetaAI, LeCun.

GPT phổ biến luôn là con đường phát triển trí tuệ nhân tạo bị LeCun chỉ trích và coi thường.

Vào ngày 4 tháng 2 năm nay, LeCun đã thẳng thắn tuyên bố: “Trên con đường hướng tới AI cấp độ con người, các mô hình ngôn ngữ lớn hoàn toàn là một con đường quanh co”.


Ông tin rằng mô hình lớn tạo ra tự hồi quy dựa trên xác suất này sẽ không tồn tại được tối đa 5 năm, bởi vì những trí tuệ nhân tạo này chỉ được đào tạo trên một lượng lớn văn bản và chúng không thể hiểu được thế giới thực.

Vì vậy, những mô hình này không thể lập kế hoạch hay suy luận, chúng chỉ có khả năng học tập theo ngữ cảnh.

Nói một cách nghiêm túc, những trí tuệ nhân tạo được đào tạo trên LLM này hầu như không có "trí thông minh" nào cả.

Điều LeCun mong chờ chính là một "mô hình thế giới" có thể dẫn đến AGI.


Mô hình thế giới có thể tìm hiểu cách thế giới hoạt động, học hỏi nhanh hơn, lập kế hoạch hoàn thành các nhiệm vụ phức tạp và ứng phó với các tình huống mới lạ bất kỳ lúc nào.

Điều này khác với LLM ở chỗ yêu cầu đào tạo trước nhiều. Mô hình thế giới có thể tìm ra các khuôn mẫu từ việc quan sát, thích nghi với môi trường mới và thành thạo các kỹ năng mới như con người.

So với chiến lược liên tục cải tiến và đào sâu của OpenAI trong lĩnh vực LLM, Meta nỗ lực phát triển mô hình đa dạng.

Vào ngày 14 tháng 6 năm nay, Meta đã phát hành mô hình trí tuệ nhân tạo I-JEPA “giống con người”, đây cũng là mô hình AI đầu tiên trong lịch sử dựa trên các phần quan trọng trong tầm nhìn mô hình thế giới của LeCun.


Địa chỉ trên giấy: https://arxiv.or g/abs/2301.08243

I-JEPA có thể hiểu được các cách biểu diễn trừu tượng trong hình ảnh và đạt được cảm nhận chung thông qua sự giám sát học tập.

Và I-JEPA không yêu cầu bổ sung kiến ​​thức sản xuất thủ công để hỗ trợ.

Sau khi Meta ra mắt Voicebox, một hệ thống tạo giọng nói mang tính đột phá mới dựa trên một phương pháp mới do MetaAI đề xuất - khớp luồng.


Nó có thể tổng hợp giọng nói bằng sáu ngôn ngữ, thực hiện các thao tác như khử nhiễu, chỉnh sửa nội dung và chuyển đổi kiểu âm thanh.

Meta cũng phát hành các tác nhân AI phổ biến.

Thông qua phối hợp kỹ năng hướng dẫn ngôn ngữ (LSC), robot có thể di chuyển và chọn lựa tự do trong môi trường được ánh xạ trước một phần.

Meta cũng khác biệt trong việc phát triển các mô hình đa phương thức.

ImageBind, mô hình trí tuệ nhân tạo đầu tiên có khả năng liên kết thông tin từ sáu phương thức khác nhau.


Nó mang lại cho máy khả năng hiểu biết toàn diện, liên kết các vật thể trong ảnh với âm thanh, hình dạng ba chiều, nhiệt độ và kiểu chuyển động của chúng.

RoboAgent do MetaAI và CMU_Robotics cùng phát triển cho phép robot có được nhiều kỹ năng không hề tầm thường và phát huy chúng trong hàng trăm tình huống cuộc sống.

Đồng thời, tất cả các tình huống này đều yêu cầu dữ liệu ở mức độ ít hơn so với công việc trước đây tại hiện trường.


Về mô hình được tiết lộ lần này, một số cư dân mạng bày tỏ hy vọng rằng họ sẽ tiếp tục mở mã nguồn.


Tuy nhiên, một số cư dân mạng cho rằng Meta sẽ không bắt đầu đào tạo cho đến đầu năm 2024.


Nhưng điều đáng mừng là Meta vẫn đưa ra tín hiệu rằng họ sẽ tiếp tục tuân thủ chiến lược ban đầu.