Áp lực về an toàn trí tuệ nhân tạo đang bắt đầu được phản ánh trực tiếp trong thiết kế sản phẩm. Google đang triển khai các biện pháp bảo vệ sức khỏe tâm thần mới trong chatbot Gemini của mình, một động thái có thể phản ánh sự giám sát pháp lý và quy định ngày càng tăng đối với toàn bộ hệ sinh thái AI, bao gồm cả đối thủ OpenAI.

Bản cập nhật xuất hiện sau một loạt vụ kiện và mối lo ngại của công chúng cho thấy rằng việc tương tác với các công cụ AI trong một số trường hợp có thể dẫn đến hậu quả có hại trong thế giới thực, buộc các nhà phát triển phải suy nghĩ lại về cách các hệ thống này phản ứng trong các tình huống nhạy cảm.

Chiến lược của Google tập trung vào sự can thiệp sớm hơn, rõ ràng hơn. Gemini hiện hiển thị thông tin về đường dây nóng khủng hoảng khi cuộc trò chuyện cho thấy nguy cơ tự tử hoặc tự làm hại bản thân tiềm ẩn, cùng với mô-đun "Có sẵn trợ giúp" mới được thiết kế để hướng dẫn người dùng hỗ trợ các tài nguyên.

Công ty cũng đang điều chỉnh hành vi của chatbot để tránh củng cố niềm tin sai lầm và thay vào đó cố gắng tách trải nghiệm chủ quan khỏi thực tế khách quan. Những thay đổi này được đưa ra trong bối cảnh có báo cáo về việc người dùng hình thành mối quan hệ căng thẳng hoặc bị bóp méo với các hệ thống AI, đôi khi liên quan đến suy nghĩ ảo tưởng hoặc hành vi cực đoan, làm tăng áp lực lên các công ty phải thực hiện các biện pháp bảo vệ mạnh mẽ hơn.

Bối cảnh này ngày càng được định hình bởi các mối lo ngại về chính sách và hành động pháp lý. Một vụ kiện do gia đình một người đàn ông ở Florida đệ trình vào tháng 3 cáo buộc rằng việc sử dụng Gemini của người đàn ông này đã khiến sức khỏe của anh ta suy giảm nhanh chóng và cuối cùng là tự tử, mặc dù chatbot được cho là đã yêu cầu anh ta liên hệ với các nguồn hỗ trợ khủng hoảng nhiều lần.

Trong khi đó, các nhà lập pháp đã bắt đầu xem xét kỹ lưỡng những rủi ro tiềm ẩn mà chatbot AI có thể gây ra, đặc biệt là đối với người dùng trẻ tuổi. Google cũng cam kết chi 30 triệu USD trong ba năm tới cho các dịch vụ hỗ trợ khủng hoảng toàn cầu, một động thái có thể báo hiệu nỗ lực của công ty nhằm cân bằng việc tiếp tục triển khai AI với trách nhiệm giải trình rõ ràng khi việc áp dụng AI tăng tốc.