Trung Quốc đang chuẩn bị siết quản lý các chatbot AI có khả năng tác động cảm xúc, nhằm ngăn nội dung dẫn dắt người dùng đến tự tử, tự hại và cờ bạc, trong bối cảnh các startup chatbot lớn vừa nộp hồ sơ IPO tại Hong Kong.
Các đề xuất mới tập trung vào “AI tương tác kiểu con người” và đặt yêu cầu can thiệp khẩn cấp khi phát hiện rủi ro tự tử, đồng thời tăng bảo vệ trẻ vị thành niên bằng cơ chế đồng ý của người giám hộ, giới hạn thời gian và mặc định áp dụng chế độ trẻ em khi không chắc độ tuổi.
- Trung Quốc đề xuất quy định mới cho chatbot AI “tương tác như người”, cấm nội dung khuyến khích tự hại, tự tử, bạo lực lời nói và thao túng cảm xúc.
- AI bị cấm tạo nội dung khiêu dâm, bạo lực và liên quan cờ bạc; trường hợp người dùng đề cập tự tử phải có người thật tiếp quản và liên hệ người giám hộ/đầu mối được chỉ định.
- Quy định nhấn mạnh bảo vệ trẻ vị thành niên, yêu cầu đồng ý của người giám hộ cho “đồng hành cảm xúc”, giới hạn thời gian, và cơ chế suy đoán độ tuổi khi người dùng không khai báo.
Quy định dự thảo của Trung Quốc nhắm vào chatbot AI có khả năng tác động cảm xúc
Dự thảo quy định áp dụng cho sản phẩm/dịch vụ AI cung cấp công khai tại Trung Quốc, có hành vi mô phỏng “tính cách con người” và tương tác cảm xúc qua văn bản, hình ảnh, âm thanh hoặc video.
Theo bản dịch tài liệu tiếng Trung do CNBC đăng tải, cơ quan quản lý không gian mạng Trung Quốc phát hành dự thảo vào thứ Bảy, nhắm đến nhóm dịch vụ được mô tả là “AI tương tác giống con người”.
Phạm vi tập trung vào các hệ thống có khả năng “gắn kết” và ảnh hưởng cảm xúc, thay vì chỉ xử lý vấn đề an toàn nội dung theo nghĩa truyền thống. Điều này phản ánh xu hướng phổ biến của AI đồng hành, nhân vật ảo và “người nổi tiếng số” tại thị trường nội địa.
Dự thảo cấm nội dung khuyến khích tự hại, tự tử và thao túng cảm xúc
Các chatbot AI không được tạo ra nội dung cổ vũ tự hại hoặc tự tử, không được có bạo lực lời nói, và không được thao túng cảm xúc theo cách có thể gây tổn hại sức khỏe tinh thần người dùng.
Dự thảo nêu rõ việc ngăn AI tạo ra hoặc khuếch đại những tương tác khiến người dùng rơi vào trạng thái nguy hiểm về tâm lý. Ngoài khía cạnh “không được khuyến khích tự hại/tự tử”, quy định cũng nhắc tới hành vi gây hại qua bạo lực ngôn từ và điều hướng cảm xúc tiêu cực.
Trọng tâm là kiểm soát rủi ro phát sinh từ các mô hình được thiết kế để “đồng hành cảm xúc”, nơi người dùng có thể hình thành sự phụ thuộc hoặc bị dẫn dắt bởi phản hồi mô phỏng cảm thông, thân mật hoặc áp lực tâm lý.
Chatbot AI bị hạn chế nội dung khiêu dâm, bạo lực và cờ bạc
Dự thảo yêu cầu chatbot AI không tạo nội dung khiêu dâm, bạo lực hoặc liên quan cờ bạc, nhằm giảm nguy cơ kích hoạt hành vi có hại và vi phạm chuẩn mực xã hội.
Các hạng mục bị nhắm đến bao gồm nội dung tục tĩu, bạo lực và nội dung thúc đẩy cờ bạc. Đây là nhóm nội dung thường bị lợi dụng để tối ưu tương tác hoặc “câu giữ người dùng”, đặc biệt trong các sản phẩm giải trí dựa trên nhân vật ảo.
Với các chatbot có khả năng tạo nội dung đa phương thức (văn bản, hình ảnh, âm thanh, video), việc quản trị rủi ro được đặt ra đồng thời ở nhiều kênh đầu ra, thay vì chỉ lọc văn bản.
Khi người dùng đề cập tự tử, hệ thống phải chuyển sang người thật và liên hệ người giám hộ
Nếu người dùng nêu ý định tự tử, công ty AI phải để người thật tiếp quản cuộc trò chuyện và lập tức liên hệ người giám hộ hoặc người được chỉ định.
Điểm đáng chú ý là cơ chế “bàn giao cho con người” trong tình huống khẩn cấp, thay vì để mô hình AI tiếp tục phản hồi tự động. Dự thảo mô tả yêu cầu hành động ngay, bao gồm liên hệ người giám hộ hoặc đầu mối do người dùng chỉ định.
Cách tiếp cận này nhằm giảm rủi ro khi chatbot phản hồi sai, khuyến khích hành vi nguy hiểm hoặc tạo cảm giác “đồng thuận” với ý định tự tử của người dùng trong tình huống nhạy cảm.
Trẻ vị thành niên phải có sự đồng ý của người giám hộ khi dùng AI “đồng hành cảm xúc”
Dự thảo đề xuất trẻ vị thành niên cần có sự đồng ý của người giám hộ để dùng tính năng đồng hành cảm xúc, kèm giới hạn thời gian sử dụng.
Ngoài yêu cầu đồng ý của người giám hộ và giới hạn thời gian, dự thảo cũng đặt trách nhiệm lên nền tảng trong việc xác định người dùng là người lớn hay trẻ vị thành niên ngay cả khi người dùng không khai báo tuổi.
Nếu có nghi ngờ về độ tuổi, nền tảng phải áp dụng thiết lập dành cho trẻ vị thành niên theo mặc định, đồng thời cho phép cơ chế kháng nghị. Điều này làm tăng yêu cầu về kiểm soát truy cập và quản trị rủi ro theo nhóm tuổi.
Dự thảo được xem là bước chuyển từ an toàn nội dung sang an toàn cảm xúc
Giới học thuật nhận định dự thảo cho thấy định hướng quản lý AI chuyển từ “an toàn nội dung” sang kiểm soát tác động cảm xúc của hệ thống tương tác giống con người.
“Phiên bản này nhấn mạnh một bước nhảy từ an toàn nội dung sang cảm xúc.”
– Winston Ma, Giáo sư, NYU School of Law
Cùng với nhận định rằng đây có thể là nỗ lực đầu tiên trên thế giới nhằm điều chỉnh AI có đặc tính nhân hình, định hướng quản lý mới phản ánh mức độ phổ biến của AI đồng hành và các sản phẩm mô phỏng nhân cách.
So với khung quản lý AI tạo sinh năm 2023, trọng tâm mới nhắm đến tương tác “có gắn kết cảm xúc” và các hệ quả liên quan sức khỏe tinh thần, đặc biệt ở nhóm người dùng trẻ.
Động thái quản lý diễn ra khi Z.ai và Minimax nộp hồ sơ IPO tại Hong Kong
Quy định được đề xuất xuất hiện cùng thời điểm hai startup chatbot Trung Quốc là Z.ai và Minimax nộp hồ sơ IPO tại Hong Kong, làm nổi bật kỳ vọng tăng trưởng lẫn áp lực tuân thủ.
Minimax được biết đến quốc tế qua ứng dụng Talkie AI cho phép người dùng trò chuyện với nhân vật ảo. Theo thông tin được CNBC nêu, Talkie AI và phiên bản nội địa Trung Quốc Xingye đóng góp hơn một phần ba doanh thu của công ty trong ba quý đầu năm, với trung bình hơn 20 triệu người dùng hoạt động hằng tháng trong giai đoạn đó.
Với Z.ai (còn được biết đến là Zhipu), doanh nghiệp nộp hồ sơ dưới tên Knowledge Atlas Technology và không công bố số người dùng hoạt động hằng tháng, nhưng cho biết công nghệ của họ hiện diện trên khoảng 80 triệu thiết bị, bao gồm điện thoại thông minh, máy tính cá nhân và xe thông minh.
Toàn văn dự thảo quy định được đăng tại cổng thông tin của cơ quan quản lý.
Những câu hỏi thường gặp
Quy định dự thảo của Trung Quốc áp dụng cho loại chatbot AI nào?
Quy định nhắm đến sản phẩm/dịch vụ AI cung cấp công khai tại Trung Quốc có tính “tương tác giống con người”, mô phỏng nhân cách và tạo gắn kết cảm xúc với người dùng qua văn bản, hình ảnh, âm thanh hoặc video.
Chatbot AI sẽ bị cấm những nội dung gì theo dự thảo?
Dự thảo nêu chatbot không được tạo nội dung khuyến khích tự hại hoặc tự tử, không được bạo lực lời nói hay thao túng cảm xúc gây hại sức khỏe tinh thần. Ngoài ra, chatbot không được tạo nội dung khiêu dâm, bạo lực và liên quan cờ bạc.
Nếu người dùng đề cập tự tử, nền tảng AI phải làm gì?
Theo dự thảo, công ty AI phải để người thật tiếp quản cuộc trò chuyện và lập tức liên hệ người giám hộ của người dùng hoặc một cá nhân được chỉ định.
Trẻ vị thành niên có thể dùng chatbot “đồng hành cảm xúc” không?
Có, nhưng dự thảo đề xuất trẻ vị thành niên cần có sự đồng ý của người giám hộ khi dùng cho mục đích đồng hành cảm xúc, kèm giới hạn thời gian sử dụng.
Nền tảng xác định người dùng là trẻ vị thành niên bằng cách nào nếu không khai tuổi?
Dự thảo yêu cầu nền tảng phải quyết định người dùng là người lớn hay trẻ vị thành niên ngay cả khi họ không tiết lộ tuổi. Nếu có nghi ngờ, nền tảng phải áp dụng thiết lập dành cho trẻ vị thành niên và cho phép cơ chế kháng nghị.