OpenAI vừa bổ sung ba mô hình giọng nói mới vào API, gồm GPT-Realtime-2, GPT-Realtime-Translate và GPT-Realtime-Whisper.
Bộ mô hình này mở rộng khả năng của AI giọng nói từ hỏi-đáp đơn giản sang xử lý hội thoại theo thời gian thực, dịch trực tiếp và chuyển giọng nói thành văn bản khi đang nói.
- GPT-Realtime-2 là mô hình chủ lực, hướng tới suy luận tốt hơn cho tác vụ thoại.
- GPT-Realtime-Translate hỗ trợ hơn 70 ngôn ngữ đầu vào và xuất ra 13 ngôn ngữ.
- OpenAI đã đưa ba mô hình này vào Realtime API với nhiều cách kết nối khác nhau.
GPT-Realtime-2 là phiên bản mạnh nhất trong nhóm mới
GPT-Realtime-2 được xem là mô hình chủ lực, với mức suy luận tương đương GPT-5 theo mô tả của OpenAI. So với GPT-Realtime-1.5, mô hình này được cải thiện ở các bài kiểm tra liên quan đến trí tuệ âm thanh và hội thoại đa lượt.
Trên Big Bench Audio, mô hình đạt kết quả cao hơn 15,2%. Ở Audio MultiChallenge, bài kiểm tra khả năng bám sát hướng dẫn trong hội thoại thoại nhiều lượt, mức cải thiện là 13,8%.
Về mặt kỹ thuật, GPT-Realtime-2 hỗ trợ cửa sổ ngữ cảnh 128K, tăng từ 32K trước đó. Mô hình cũng có năm mức điều chỉnh mức độ suy luận, từ “minimal” đến “xhigh”, đồng thời có thể gọi nhiều công cụ cùng lúc.
OpenAI cho biết mô hình còn có thể phản hồi bằng các câu nối ngắn như “let me check that” trong lúc xử lý yêu cầu, hoặc phát tín hiệu bằng giọng nói khi cần khắc phục lỗi trong hội thoại.
Dịch giọng nói và chuyển lời nói thành văn bản theo thời gian thực
Hai mô hình còn lại phục vụ các tác vụ hẹp hơn. GPT-Realtime-Translate nhận đầu vào từ hơn 70 ngôn ngữ và xuất ra 13 ngôn ngữ, trong khi GPT-Realtime-Whisper tạo bản chép lời trực tiếp khi người nói هنوز đang phát âm.
Cách thiết kế này phù hợp với các ứng dụng cần phản hồi gần như tức thời, thay vì chờ một câu nói hoàn chỉnh mới xử lý. Điều đó giúp AI giọng nói tiến gần hơn tới vai trò một tác nhân có thể nghe, hiểu và phản hồi ngay trong cuộc trò chuyện.
Doanh nghiệp nào đang thử nghiệm các mô hình này?
OpenAI cho biết một số công ty đã tiếp cận sớm để thử nghiệm trong môi trường sản xuất. Zillow đang xây dựng trợ lý giọng nói cho các truy vấn bất động sản phức tạp, có thể gọi công cụ tìm kiếm danh sách và tuân thủ các quy định về Fair Housing.
Deutsche Telekom đang thử tính năng dịch thời gian thực cho chăm sóc khách hàng, cho phép người gọi nói bằng ngôn ngữ của họ trong khi mô hình xử lý phần chuyển đổi ở cả hai phía. Priceline cũng đang thử một trợ lý du lịch bằng giọng nói cho tìm chuyến bay, đổi khách sạn và hỗ trợ dịch trong cùng một phiên.
OpenAI cho biết Zillow ghi nhận mức cải thiện 26 điểm về tỷ lệ cuộc gọi thành công trong bài kiểm tra khó nhất sau khi tối ưu hóa prompt với GPT-Realtime-2, từ 69% lên 95%.
OpenAI đã thêm lớp kiểm soát nội dung và cách tính phí mới
Các mô hình mới được tích hợp cơ chế kiểm duyệt nội dung. OpenAI cho biết hệ thống có thể dừng hội thoại nếu phát hiện dấu hiệu vi phạm các hướng dẫn về nội dung gây hại, nhằm hạn chế spam, gian lận và lạm dụng.
Về giá, GPT-Realtime-2 tính theo token, còn GPT-Realtime-Translate và GPT-Realtime-Whisper tính theo phút. Cả ba đều có mặt qua Realtime API, với các phương thức kết nối WebRTC, WebSocket và SIP.
OpenAI cho biết các lớp bảo vệ này được đưa vào ngay từ đầu khi triển khai mô hình thoại mới.
Tổng kết
Bộ mô hình mới cho thấy OpenAI đang đẩy AI giọng nói sang hướng xử lý hội thoại thực tế hơn, với suy luận, dịch trực tiếp và chép lời theo thời gian thực trong cùng một hệ sinh thái API.
