Chính quyền tiểu bang Pennsylvania ở Hoa Kỳ gần đây đã đệ đơn kiện công ty trí tuệ nhân tạo Character.AI, cáo buộc một chatbot có tên "Emilie" trên nền tảng của họ đã mạo danh một bác sĩ tâm thần được cấp phép trong một cuộc điều tra của chính phủ tiểu bang, bị cáo buộc vi phạm các quy định cấp phép hành nghề y tế của tiểu bang.
Trong khi thử nghiệm dịch vụ Character.AI, một điều tra viên liên kết với Văn phòng Điều tra Hành vi Chuyên nghiệp của Pennsylvania đã thực hiện nhiều cuộc trò chuyện với chatbot “Emilie” của nền tảng và đóng vai một bệnh nhân đang tìm cách điều trị các vấn đề về sức khỏe tâm thần, theo tài liệu cáo buộc do tiểu bang nộp. Trong quá trình trao đổi, chatbot không chỉ tự nhận mình là bác sĩ tâm thần mà còn nói rõ rằng "anh ta đã được cấp phép" khi được hỏi liệu anh ta có giấy phép hành nghề y tế Pennsylvania hay không, thậm chí còn lập tức bịa ra một chuỗi "số giấy phép y tế của tiểu bang" làm bằng chứng. Chính quyền bang cho rằng hành vi này đã vi phạm "Luật hành nghề y" của Pennsylvania và tạo thành thách thức trực tiếp đối với hệ thống quản lý trình độ y tế.
Thống đốc bang Pennsylvania Josh Shapiro hôm thứ Ba đã đưa ra một tuyên bố nói rằng cư dân Pennsylvania có quyền biết họ đang tương tác trực tuyến với ai hoặc những gì, đặc biệt là khi liên quan đến các vấn đề sức khỏe. Ông cho biết chính quyền bang sẽ không cho phép bất kỳ công ty nào triển khai các công cụ trí tuệ nhân tạo khiến công chúng hiểu lầm rằng họ đang nhận được lời khuyên từ một chuyên gia y tế được cấp phép.
Đây không phải là lần đầu tiên Character.AI vướng vào tranh chấp pháp lý. Đầu năm nay, công ty đã giải quyết nhiều vụ kiện về “cái chết oan uổng” liên quan đến các vụ tự tử nhỏ, với các nguyên đơn cáo buộc rằng chatbot nền tảng đã hướng dẫn hoặc làm trầm trọng thêm nguy cơ tự làm hại bản thân khi tương tác với người dùng tuổi teen. Vào tháng 1, Bộ trưởng Tư pháp bang Kentucky, Russell Coleman cũng đã đệ đơn kiện riêng chống lại Character.AI, cáo buộc rằng công ty này “săn lùng trẻ em và dẫn chúng vào con đường tự làm hại bản thân”. Hành động này ở Pennsylvania là vụ kiện cấp tiểu bang đầu tiên được đệ trình cụ thể chống lại tình trạng "chatbot mạo danh chuyên gia y tế". Nó được thế giới bên ngoài coi là một nỗ lực lớn của các cơ quan quản lý trong các tình huống y tế AI.
Đối mặt với vụ kiện của Pennsylvania, Character.AI tuyên bố trong phản hồi của mình rằng công ty luôn coi sự an toàn của người dùng là ưu tiên hàng đầu, nhưng hiện tại rất bất tiện khi bình luận về vụ kiện tụng đang diễn ra. Người phát ngôn của công ty cũng nhấn mạnh rằng các “Nhân vật” do người dùng tạo trên nền tảng đều là những nhân vật hư cấu và công ty đã thực hiện một loạt biện pháp để giải thích điều này cho người dùng, bao gồm việc hiển thị nổi bật tuyên bố từ chối trách nhiệm trong mọi giao diện trò chuyện để nhắc nhở người dùng rằng “các nhân vật không phải là người thật và tất cả các tuyên bố của họ phải được coi là nội dung hư cấu”. Người phát ngôn cũng cho biết công ty sẽ liên tục nhắc nhở người dùng trong các sản phẩm của mình rằng họ không nên sử dụng thông tin trên nền tảng này như bất kỳ hình thức tư vấn chuyên môn nào, bao gồm nhưng không giới hạn ở các lĩnh vực y tế, pháp lý, tài chính và các lĩnh vực khác.