Moonshot AI’s Kimi K3 bị đánh giá yếu hơn các mô hình AI hàng đầu của Mỹ trong các bài kiểm tra về khai thác lỗ hổng và tấn công mạng mô phỏng.
Báo cáo chung của AI Security Institute (AISI) của Vương quốc Anh và US Center of AI Standards and Innovation (CAISI) cho thấy Kimi K3 chưa đạt mức hiệu quả như các mô hình mạnh nhất của Mỹ ở mảng an ninh mạng. Kết quả này xuất hiện trước thời điểm Moonshot dự kiến công bố toàn bộ trọng số mô hình vào ngày 27/7.
- Kimi K3 đạt 32% trong bài kiểm tra ExploitBench, thấp hơn mức trung bình 76,2% của các mô hình Mỹ.
- Mô hình này không đạt đến kết quả nguy hiểm nhất là arbitrary code execution trong 41 bài kiểm tra.
- Trong bài test mạng mô phỏng “The Last Ones”, Kimi K3 trung bình đi được đến bước 17 trên tổng 32 bước.
Kết quả kiểm tra cyber của Kimi K3
Kimi K3 được đánh giá ở các bài test nhằm đo khả năng khai thác lỗ hổng và xâm nhập hệ thống. Kết quả cho thấy mô hình này đứng sau nhóm mô hình mạnh nhất của Mỹ trong các tác vụ tấn công mạng mô phỏng.
Ở ExploitBench, Kimi K3 đạt 32%, trong khi nhóm mô hình Mỹ đạt trung bình 76,2%. GLM-5.2 của Trung Quốc đạt 24% trong cùng bài kiểm tra.
ExploitBench dựa trên 41 lỗ hổng được phát hiện trong engine V8 của Chrome sau năm 2023. Mục tiêu nguy hiểm nhất của bộ test là arbitrary code execution, tức kẻ tấn công có thể giành quyền kiểm soát hoàn toàn máy đích.
Kimi K3 đã làm được gì trong bài test mạng mô phỏng?
Kimi K3 đi được trung bình đến bước 17 trong bài kiểm tra “The Last Ones”, một kịch bản mô phỏng mạng doanh nghiệp với khoảng 20 máy chủ trên bốn subnet. Các mô hình mạnh nhất của Mỹ đạt trung bình 28,5 bước, còn GLM-5.2 đạt 11 bước.
Dù vậy, Kimi K3 đã hoàn thành toàn bộ chuỗi tấn công một lần trong 10 lần thử và vẫn nằm dưới ngưỡng 100 triệu token mà nhóm đánh giá đặt ra. Nhóm đánh giá xem đây là dấu hiệu mô hình có năng lực, nhưng chưa thể tạo ra kết quả đó một cách ổn định.
Họ cũng lưu ý rằng môi trường thử nghiệm không có lớp phòng thủ chủ động và đã có sẵn đường đi tới mục tiêu, nên kết quả có thể “dễ” hơn so với thực tế.
Safeguards của Kimi K3 chưa ngăn được hành vi tấn công
Nhóm đánh giá cho rằng điểm đáng lo nhất là Kimi K3 sẵn sàng thực hiện các tác vụ tấn công mà không phản hồi từ chối rõ ràng. Họ nói rằng mô hình có thể tự động tấn công các hệ thống doanh nghiệp nhỏ, phòng vệ yếu và dễ tổn thương nếu được giao nhiệm vụ cùng quyền truy cập mạng ban đầu.
Trước đó, AI Security Institute từng cảnh báo rằng năng lực của các mô hình mở đang tạo ra rủi ro lạm dụng “dai dẳng và không thể đảo ngược”. Khi trọng số của Kimi K3 được công khai, cách vận hành của mô hình sẽ không còn phụ thuộc vào bên đang triển khai nó.
Vì sao điểm cyber lại thấp hơn điểm tổng quát?
Kimi K3 vẫn được nhắc đến với các kết quả benchmark tổng quát mạnh, nhưng các bài test an ninh mạng cho thấy năng lực này không chuyển hóa đầy đủ sang mảng exploit. Báo cáo cho rằng một phần nguyên nhân có thể nằm ở cách mô hình được xây dựng và dữ liệu huấn luyện.
Ngày 22/7, Michael Kratsios, giám đốc khoa học của Nhà Trắng, cáo buộc Moonshot đã chưng cất mô hình Fable của Anthropic bằng cách dùng đầu ra của nó làm dữ liệu huấn luyện. Anthropic có các bộ phân loại chặn prompt tấn công mạng nâng cao, nên dữ liệu lấy từ phản hồi Claude sẽ không cung cấp đủ mẫu cho các kỹ năng này.
Do không có các bộ phân loại đó, Kimi K3 có thể đạt kết quả mạnh ở tác vụ tổng quát nhưng vẫn kém hơn trong khả năng khai thác lỗ hổng.
Tổng kết
Báo cáo cho thấy Kimi K3 có năng lực đáng kể ở các bài kiểm tra tổng quát, nhưng vẫn tụt lại trong các bài đánh giá cyber chuyên sâu và chưa thể hiện độ ổn định cần có ở những kịch bản tấn công mạng mô phỏng.
