Google lần đầu tiên tiết lộ rằng nhóm bảo mật của họ đã phát hiện và ngăn chặn thành công một cuộc tấn công khai thác zero-day bị nghi ngờ do trí tuệ nhân tạo phát triển trong một cuộc tấn công mạng đang diễn ra. Theo báo cáo do Nhóm tình báo mối đe dọa của Google (GTIG) công bố, cuộc tấn công được dàn dựng bởi một “tác nhân đe dọa tội phạm mạng nổi tiếng” nhằm khởi động một “sự kiện khai thác quy mô lớn” và nhắm mục tiêu vào một “công cụ quản lý hệ thống dựa trên web, mã nguồn mở” chưa được đặt tên và sử dụng nó để vượt qua cơ chế xác thực hai yếu tố (2FA) của nền tảng.
Các nhà nghiên cứu của Google đã tìm thấy nhiều manh mối nghi ngờ có liên quan đến AI trong tập lệnh khai thác Python được sử dụng để thực hiện cuộc tấn công, bao gồm "Xếp hạng CVSS ảo giác", cũng như cách trình bày tổng thể về kiểu bố cục có cấu trúc giống như sách giáo khoa. Các tính năng này rất giống với các định dạng dữ liệu đào tạo phổ biến của các mô hình ngôn ngữ lớn. Báo cáo nêu rõ rằng lỗ hổng này về cơ bản là một "lỗ hổng logic ngữ nghĩa cấp cao" do "mã hóa cứng một giả định tin cậy" trong thiết kế 2FA của nền tảng, cung cấp cho kẻ tấn công một điểm vào có thể được khuếch đại bằng các công cụ tự động.
Sự cố này xảy ra vào thời điểm ngành đang tham gia vào một cuộc tranh luận gay gắt xung quanh khả năng của các mô hình AI tập trung vào các tình huống an ninh mạng, chẳng hạn như mô hình Mythos do Anthropic đưa ra và một lỗ hổng nhân Linux gần đây được phát hiện với sự hỗ trợ của AI, đã thu hút sự chú ý liên tục đến vai trò của AI trong cả tấn công và phòng thủ. Google cho biết đây là lần đầu tiên họ tìm thấy bằng chứng rõ ràng cho thấy AI trực tiếp tham gia vào quá trình khai thác lỗ hổng trong một cuộc tấn công thực tế, nhưng nhóm nghiên cứu cũng chỉ ra rằng hiện tại họ “không tin rằng mô hình Gemini của chính Google đã được sử dụng trong cuộc tấn công này”.
Google tuyên bố rằng họ đã "can thiệp và chặn" thành công hoạt động tấn công cụ thể này, nhưng đồng thời cảnh báo rằng tin tặc đang ngày càng sử dụng AI một cách có hệ thống để khám phá và khai thác các lỗ hổng bảo mật, đồng thời đang tăng tốc tự động hóa từ thu thập thông tin sớm đến khai thác lỗ hổng và viết mã. Báo cáo cũng nhắc nhở rằng bản thân hệ thống AI và hệ sinh thái của nó cũng đang trở thành một bề mặt tấn công mới: những kẻ tấn công bắt đầu nhắm mục tiêu vào các thành phần tích hợp hơn cung cấp khả năng cho AI, chẳng hạn như giao diện công cụ bên ngoài và trình kết nối dữ liệu của bên thứ ba thực hiện các tác vụ một cách tự động, nhằm tìm ra các đường dẫn xâm nhập mới.
Ngoài việc sử dụng AI để viết mã tấn công, Google còn nêu tên một loại kỹ thuật phát tán trong báo cáo - "bẻ khóa theo hướng cá nhân". Kẻ tấn công sẽ cẩn thận xây dựng các từ nhắc nhở để cho phép mô hình "hoạt động" với tư cách là nhà nghiên cứu bảo mật cấp cao hoặc chuyên gia kiểm tra thâm nhập, từ đó khiến mô hình xuất ra nội dung cần được chặn bởi các chính sách bảo mật, bao gồm cả việc giúp xác định các lỗ hổng bảo mật tiềm ẩn trong hệ thống hoặc tạo ra các ý tưởng khai thác. Google nhấn mạnh kiểu tấn công này cho thấy vai trò của AI trong lĩnh vực an ninh mạng đang phát triển nhanh chóng từ một công cụ phòng thủ đơn giản thành một “cấp số” mới cho cả tấn công và phòng thủ. Trong tương lai, những cuộc tấn công zero-day với sự tham gia sâu rộng của AI có thể không còn là ngoại lệ.