Các nhà nghiên cứu đã phát triển một kỹ thuật gọi là "siêu học tập tổ hợp" (MLC) có thể nâng cao khả năng của hệ thống trí tuệ nhân tạo trong việc tạo ra "tổng quát hóa tổ hợp". Khả năng này, cho phép con người liên kết và kết hợp các khái niệm, là chủ đề được tranh luận sôi nổi trong lĩnh vực trí tuệ nhân tạo trong nhiều thập kỷ. Thông qua một quy trình học tập độc đáo, MLC đã chứng minh hiệu suất trong các thí nghiệm ngang bằng và đôi khi thậm chí vượt quá khả năng của con người. Bước đột phá này cho thấy các mạng lưới thần kinh truyền thống thực sự có thể được đào tạo để bắt chước khả năng khái quát hóa hệ thống của con người.
Nghiên cứu cho thấy triển vọng mới của "khái quát hóa tổ hợp"TA GPH56
Con người bẩm sinh đã nhận thức được cách kết nối các khái niệm; khi học khái niệm “nhảy”, các em có thể hiểu ngay ý nghĩa của “nhảy quanh phòng hai lần” hoặc “giơ tay bỏ qua”.
Nhưng liệu máy móc có khả năng suy nghĩ như vậy không? Vào cuối những năm 1980, các nhà triết học và nhà khoa học nhận thức Jerry Fodor và Zenon Pylyshyn đã đề xuất rằng mạng lưới thần kinh nhân tạo - động cơ cung cấp năng lượng cho trí tuệ nhân tạo và học máy - không thể tạo ra những kết nối này, được gọi là "khái quát hóa thành phần". Tuy nhiên, trong nhiều thập kỷ kể từ đó, các nhà khoa học đã phát triển các phương pháp để đưa mạng lưới thần kinh và các công nghệ liên quan có khả năng này, với nhiều thành công khác nhau, kéo dài cuộc tranh luận kéo dài hàng thập kỷ này.
Công nghệ đột phá: cấu trúc của siêu học tập
Đại học New York và Đại học Pompeo Fabra ở Tây Ban Nha Các nhà nghiên cứu tại Đại học uFabra hiện đã phát triển một kỹ thuật - được báo cáo trên tạp chí Nature - giúp cải thiện khả năng của các công cụ này, chẳng hạn như ChatGPT, để thực hiện tổng quát hóa tổ hợp. Kỹ thuật này được gọi là "siêu học tập tổ hợp" (MLC), vượt trội hơn các phương pháp hiện có, phù hợp với hiệu suất của con người và trong một số trường hợp thậm chí còn vượt trội hơn nó. Về cốt lõi, MLC đang đào tạo các mạng lưới thần kinh—các công cụ thúc đẩy ChatGPT và các công nghệ liên quan trong nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên—để cải thiện khả năng khái quát hóa tổng hợp thông qua thực hành.
Các nhà phát triển hệ thống hiện có, bao gồm cả các mô hình ngôn ngữ lớn, đang tìm cách đạt được khả năng khái quát hóa tổng hợp thông qua các phương pháp đào tạo tiêu chuẩn hoặc phát triển các kiến trúc chuyên biệt để đạt được những khả năng này. Ngược lại, MLC chứng minh việc thực hành rõ ràng những kỹ năng này cho phép các hệ thống này giải phóng sức mạnh mới như thế nào, các tác giả lưu ý.
Brenden Lake, trợ lý giáo sư tại Trung tâm Khoa học Dữ liệu và Khoa Tâm lý học của NYU, đồng thời là một trong những tác giả của bài viết này, cho biết: “Trong 35 năm, các nhà nghiên cứu về khoa học nhận thức, trí tuệ nhân tạo, ngôn ngữ học và triết học đã tranh luận liệu mạng lưới thần kinh có thể đạt được khả năng khái quát hóa hệ thống giống con người hay không. H75Khi khám phá khả năng tăng cường khả năng học tập của các thành phần mạng thần kinh, các nhà nghiên cứu đã tạo ra MLC, một quy trình học tập mới trong đó mạng thần kinh được cập nhật liên tục qua một loạt sự kiện để cải thiện kỹ năng của nó. Trong một tập, MLC nhận được một từ mới và được yêu cầu sử dụng từ đó theo cách kết hợp - ví dụ: sử dụng từ "nhảy" rồi tạo các tổ hợp từ mới như "nhảy hai lần" hoặc "nhảy sang phải hai lần", v.v. kỹ năng xây dựng từ của mạng mỗi lần
Công nghệ kiểm tra
Để kiểm tra tính hiệu quả của MLC, Lake, đồng giám đốc Sáng kiến Trí tuệ, Trí não và Máy móc của NYU, và Marco Baroni, nhà nghiên cứu tại Viện Nghiên cứu và Nghiên cứu Cao cấp ở Catalonia và là giáo sư tại Khoa Dịch thuật và Khoa học Ngôn ngữ tại Đại học Pompeu Fabra, đã tiến hành một loạt thí nghiệm với những người tham gia là con người về các nhiệm vụ giống hệt như MLC thực hiện.
Ngoài ra, các em không chỉ phải học nghĩa của những từ thực tế mà con người đã biết mà còn phải học nghĩa của những từ vô nghĩa do các nhà nghiên cứu định nghĩa (chẳng hạn như "zup" và "dax") và biết cách áp dụng những từ này theo những cách khác nhau. Hiệu suất của MLC ngang bằng và trong một số trường hợp thậm chí còn tốt hơn so với những người tham gia là con người. MLC và con người cũng hoạt động tốt hơn ChatGPT và GPT-4, mặc dù có khả năng tổng thể ấn tượng nhưng lại tỏ ra khó khăn trong nhiệm vụ học tập này.
Baroni, thành viên của Nhóm nghiên cứu lý thuyết ngôn ngữ và ngôn ngữ học tính toán tại Đại học Pompeu Fabra, đã chỉ ra: "Các mô hình ngôn ngữ quy mô lớn như ChatGPT vẫn gặp khó khăn trong việc khái quát hóa hình thành từ, mặc dù chúng đã được cải thiện trong những năm gần đây. Nhưng chúng tôi tin rằng MLC có thể cải thiện hơn nữa khả năng tổng hợp của các mô hình ngôn ngữ quy mô lớn."