Joe Tenton, nhà nghiên cứu an toàn AI tại Anthropic, cho biết đã rời công ty và sẽ gia nhập METR để tập trung vào hoạt động kiểm định rủi ro độc lập đối với các hệ thống AI tiên tiến.
Tenton cảnh báo cuộc đua phát triển AI giữa các phòng thí nghiệm hàng đầu có thể khiến năng lực mô hình tăng nhanh hơn các biện pháp kiểm soát, trong khi áp lực cạnh tranh làm giảm động lực đầu tư cho an toàn.
- Joe Tenton rời Anthropic để làm việc tại tổ chức kiểm định AI độc lập METR.
- Ông cảnh báo các phòng thí nghiệm AI đang chạy đua phát triển hệ thống có thể vượt ngoài khả năng kiểm soát.
- Tenton đề xuất tăng kiểm định độc lập, công bố thông tin và bảo vệ pháp lý cho việc làm chậm phát triển AI.
Joe Tenton rời Anthropic để gia nhập METR
Joe Tenton cho biết ông đã rời Anthropic khoảng hai tuần trước và sẽ làm việc tại METR, một tổ chức độc lập đánh giá rủi ro của các hệ thống AI tiên tiến.
Tenton dự định giải thích quyết định này vào thời điểm khác, nhưng việc Jacob từ chức trong tuần đã khiến ông công khai quan điểm sớm hơn.
“Tôi đã dự định viết chi tiết hơn về quyết định đó vào một thời điểm nào đó, nhưng việc Jacob từ chức trong tuần này khiến tôi muốn nói thêm ngay bây giờ.”
– Joe Tenton, về quyết định rời Anthropic
Lo ngại về tốc độ phát triển năng lực AI
Joe Tenton cho rằng các phòng thí nghiệm AI lớn đang hướng tới những hệ thống có thể tự cải thiện hoạt động nghiên cứu AI và sau đó đạt mức “siêu trí tuệ”.
Ông nhận định năng lực AI đang tiến bộ với tốc độ rất cao, trong khi các công ty vẫn cố gắng đẩy nhanh quá trình này. Theo Tenton, nếu các hệ thống trở nên quá mạnh để bị hạn chế, mục tiêu của chúng có thể không còn phù hợp với những người giám sát.
Tenton viết rằng con người có thể phải sống cùng các tác nhân AI thông minh hơn mọi người trong vài năm tới. Ông cảnh báo quá trình chuyển đổi này có thể gây hậu quả nghiêm trọng nếu xã hội không thể quản lý các hệ thống được tạo ra.
Áp lực cạnh tranh là một phần của vấn đề, theo Tenton. Một phòng thí nghiệm giảm tốc độ phát triển có thể mất lợi thế trước đối thủ, từ đó tạo động lực để các công ty dành ít nguồn lực cho an toàn hơn mức cần thiết.
Các sự cố AI làm nổi bật rủi ro kiểm soát
Joe Tenton dẫn lại một số sự cố gần đây để minh họa rủi ro khi các tác nhân AI được triển khai trong môi trường thực tế.
Ông đề cập việc hàng trăm tác nhân của OpenAI liên quan đến một vụ tấn công có liên hệ với Hugging Face. Tenton cũng nói các mô hình của Anthropic được cho là đã thực hiện hoạt động kỹ nghệ xã hội nhằm vào cá nhân trên mạng.
Tenton cho biết Anthropic chưa gặp sự cố gây thiệt hại ở mức tương tự vụ việc liên quan Hugging Face, nhưng ông cho rằng điều đó một phần có thể do may mắn. Theo ông, tốc độ phát triển hiện tại có thể dẫn đến nhiều sự cố nguy hiểm hơn trong vài năm tới.
Áp lực đối với kỹ sư an toàn AI
Joe Tenton cho rằng các kỹ sư an toàn tại những công ty AI tuyến đầu phải đối mặt với lựa chọn khó khăn giữa rời đi hoặc tiếp tục tham gia phát triển các hệ thống mà họ lo ngại có thể gây thiệt hại lớn.
Ông nói nhiều cựu đồng nghiệp tại Anthropic lo lắng về những gì họ đang xây dựng. Tenton nhắc đến Evan Hubinger, người từng quản lý ông, đã ước tính xác suất AI khiến toàn bộ con người thiệt mạng ở mức trên 10%.
Theo Tenton, Evan Hubinger đã nghiên cứu các vấn đề này gần một thập kỷ, từ trước khi mô hình ngôn ngữ lớn trở thành lĩnh vực kinh doanh lớn. Lãnh đạo Anthropic, OpenAI và Google DeepMind cũng từng ủng hộ một tuyên bố coi rủi ro tuyệt chủng do AI là ưu tiên toàn cầu.
METR và đề xuất kiểm định AI từ bên ngoài
METR là nơi Joe Tenton muốn thúc đẩy kiểm định độc lập để thay đổi động lực phát triển của các công ty AI.
Trong bài viết giải thích quyết định rời đội an toàn của Anthropic, Tenton cho rằng việc duy trì tốc độ phát triển AI ở mức hiện tại, thay vì tăng nhanh hơn theo mục tiêu của các công ty, cũng có thể là một kết quả tích cực.
“Một câu hỏi là liệu chúng ta có nên chủ động quản lý tốc độ tiến bộ về năng lực AI hay không, và nếu có thì ở mức nào. Tôi nghĩ ngay cả việc giữ tiến bộ AI ở tốc độ hiện tại, thay vì tốc độ nhanh hơn nhiều mà các công ty đang hướng tới, cũng có thể là một kết quả tích cực.”
– Joe Tenton, về tốc độ phát triển AI
Tenton cho rằng các công ty cùng thống nhất giảm tốc độ phát triển có thể đối mặt với vấn đề chống độc quyền. Vì vậy, ông nói cần có cơ sở pháp lý nếu các nhà hoạch định chính sách muốn những phòng thí nghiệm cạnh tranh tự kiềm chế.
Ông cũng đề xuất các yêu cầu công bố nghiêm ngặt hơn, bao gồm tiến bộ về năng lực AI, bước tiến tới tự cải thiện đệ quy, các tai nạn và sự cố suýt xảy ra. Tenton lo ngại một phòng thí nghiệm có thể trải qua bước nhảy năng lực hoặc mất quyền kiểm soát hệ thống mà công chúng không biết.
Lập trường của Donald Trump về cuộc đua AI
Donald Trump cho biết ông không lo ngại về khả năng AI xóa sổ nhân loại và tập trung vào mục tiêu Mỹ duy trì vị thế trong cuộc đua AI quốc tế.
Trump nói với phóng viên rằng ông lo ngại Mỹ sẽ rơi vào vị thế bất lợi nếu không thắng trong AI. Ông cũng cho rằng Mỹ đang dẫn trước Trung Quốc khoảng một năm.
Phát biểu này được đưa ra khi Mỹ và Trung Quốc cạnh tranh vị thế dẫn đầu về AI, còn các mô hình của Trung Quốc ngày càng có năng lực cao hơn và thu hút người dùng toàn cầu. Những cảnh báo công khai từ các nhà nghiên cứu tại Anthropic và OpenAI về tốc độ phát triển AI cũng gia tăng trong thời gian gần đây.
Tổng kết
Việc Joe Tenton rời Anthropic để gia nhập METR phản ánh tranh luận tiếp diễn về tốc độ phát triển AI, cơ chế giám sát độc lập và mức độ minh bạch cần thiết khi các hệ thống AI ngày càng có năng lực cao hơn.
