Kể từ khi có sự ra đời của AI tổng quát và các mô hình ngôn ngữ lớn, một số người đã cảnh báo rằng kết quả đầu ra do AI tạo ra cuối cùng có thể ảnh hưởng đến kết quả đầu ra do các AI tiếp theo tạo ra, tạo ra một vòng phản hồi nguy hiểm. Hiện chúng tôi đã có một trường hợp được ghi nhận như vậy, làm nổi bật hơn nữa những rủi ro trong không gian công nghệ mới nổi.

Trong khi cố gắng minh họa thông tin sai lệch về ảo giác của một chatbot trí tuệ nhân tạo, một nhà nghiên cứu đã vô tình ảnh hưởng đến thứ hạng của kết quả tìm kiếm, khiến một chatbot khác bị ảo giác. Sự cố này cho thấy sự cần thiết phải có các biện pháp bảo vệ hơn nữa khi các công cụ tìm kiếm được tăng cường AI trở nên phổ biến hơn.

Nhà nghiên cứu khoa học thông tin Daniel S. Griffin đã đăng trên blog của mình vào đầu năm nay hai ví dụ về chatbot cung cấp thông tin không chính xác, liên quan đến nhà khoa học máy tính có ảnh hưởng Claude E. Shannon. Griffin cũng đưa ra tuyên bố từ chối trách nhiệm cho biết thông tin do chatbot cung cấp là không đúng sự thật để ngăn người tìm kiếm máy lập chỉ mục thông tin, nhưng điều đó là chưa đủ.

Griffin cuối cùng đã phát hiện ra rằng nhiều chatbot, bao gồm cả Microsoft Bing và Google Bard, đã nhầm thông tin gây ảo giác mà anh ấy đăng là thông tin thật và xếp nó ở đầu kết quả tìm kiếm. Khi được hỏi những câu hỏi cụ thể về Shannon, các bot đã xây dựng dựa trên những cảnh báo của Griffin bằng một câu chuyện nhất quán nhưng sai lầm, gán cho Shannon một bài báo mà Shannon chưa bao giờ viết. Điều đáng lo ngại hơn nữa là kết quả tìm kiếm của Bing và Bard không chỉ ra rằng nguồn của họ là LL.M.

Tình trạng này tương tự như việc người ta trích dẫn nguồn sai ngữ cảnh hoặc không đúng ngữ cảnh, dẫn đến nghiên cứu sai lầm. Trường hợp của Griffin chứng tỏ tiềm năng của các mô hình AI tổng quát có thể tự động sửa những lỗi như vậy ở quy mô đáng sợ.

Microsoft sau đó đã sửa lỗi trong Bing, cho rằng sự cố có nhiều khả năng xảy ra hơn khi xử lý các chủ đề có tương đối ít tài liệu do con người viết trực tuyến. Một lý do khác khiến tiền lệ này trở nên nguy hiểm là vì nó cung cấp kế hoạch chi tiết về mặt lý thuyết cho những kẻ xấu cố tình khai thác LLM để truyền bá thông tin sai lệch bằng cách gây ảnh hưởng đến kết quả tìm kiếm. Tin tặc được biết là đã phát tán phần mềm độc hại bằng cách điều chỉnh các trang web lừa đảo để đạt được thứ hạng hàng đầu trong kết quả tìm kiếm.

Lỗ hổng này trùng khớp với cảnh báo vào tháng 6 rằng khi có nhiều nội dung do LLM tạo xuất hiện trên web thì nội dung này sẽ được sử dụng để đào tạo các LLM trong tương lai. Vòng phản hồi thu được có thể làm suy yếu đáng kể chất lượng và độ tin cậy của các mô hình AI trong một hiện tượng được gọi là "sụp đổ mô hình".

Các công ty sử dụng AI phải đảm bảo rằng hoạt động đào tạo tiếp tục ưu tiên nội dung do con người tạo ra. Việc bảo tồn những thông tin và tài liệu ít được nhìn thấy hơn do các nhóm thiểu số sản xuất có thể giúp giải quyết vấn đề này.