AssemblyAI – API chuyển giọng nói thành văn bản và Voice Agent

AssemblyAI, Inc. là công ty voice AI thành lập năm 2017, trụ sở tại New York, do CEO Dylan Fox điều hành. Công ty đã gọi vốn 130 triệu USD từ các nhà đầu tư như Accel, Insight Partners, Smith Point và Y Combinator, và ghi nhận hơn 120 triệu cuộc hội thoại được xử lý mỗi tuần qua API.

Các mô hình giọng nói chuyển âm thanh thành văn bản qua một API cho cả tệp theo lô và luồng thời gian thực. Universal-3.5 Pro hỗ trợ chuyển đổi ngôn ngữ giữa câu và chế độ y khoa, Universal-2 bao phủ 99 ngôn ngữ cho khối lượng lớn, còn U-3.6 Pro dành cho voice agent thời gian thực và trợ lý ghi chép AI, tất cả đều hỗ trợ tiếng Việt. Tính năng bổ sung gồm phân tách người nói, nhận diện thực thể, che thông tin cá nhân, gợi ý từ khóa, dịch và xuất phụ đề, còn LLM Gateway và Voice Agent API cho phép lập trình viên dựng voicebot hoàn chỉnh. Khách hàng là công ty phần mềm làm sản phẩm ghi chú cuộc họp, phân tích cuộc gọi, tổng đài và voice agent.

• Universal-3.5 Pro: mô hình xử lý bất đồng bộ, hỗ trợ chuyển ngôn ngữ giữa câu, phân tách người nói tốt hơn và chế độ y khoa.
• Streaming thời gian thực: U-3.6 Pro cho voice agent và trợ lý ghi chép AI với độ trễ thấp.
• Hiểu lời nói: phân tách người nói, nhận diện thực thể, phát hiện ngôn ngữ và che thông tin cá nhân.
• Gợi ý từ khóa: tăng độ chính xác với tên riêng, sản phẩm và thuật ngữ chuyên ngành.
• Voice Agent API và LLM Gateway: dựng voicebot và áp dụng LLM lên bản ghi.
• Định dạng đầu ra: dịch, chuyển văn bản đa kênh và phụ đề SRT hoặc VTT.

Startup phần mềm Việt Nam có thể bổ sung chuyển văn bản và tóm tắt tiếng Việt vào sản phẩm CRM, họp trực tuyến hoặc tổng đài qua API. Tổng đài có thể phân tích ghi âm cuộc gọi tiếng Việt và tiếng Anh kèm che thông tin cá nhân. Lập trình viên có thể dựng voice agent tiếng Việt thời gian thực bằng mô hình streaming.

Tiếng Việt có giá như các ngôn ngữ khác, từ 0,15 USD mỗi giờ với Universal-2 đến 0,45 USD mỗi giờ cho voice agent thời gian thực, không giới hạn số luồng đồng thời trên mọi mô hình niêm yết. Một API xử lý cả âm thanh trực tiếp lẫn ghi sẵn, không cần dùng nhiều nhà cung cấp. Tính năng che thông tin cá nhân và thỏa thuận HIPAA BAA theo yêu cầu hỗ trợ xử lý dữ liệu cuộc gọi nhạy cảm.

Voice agent, trợ lý cuộc họp AI và phân tích cuộc gọi nằm trong nhóm sản phẩm AI tăng trưởng nhanh nhất, và đều cần nhận dạng giọng nói chính xác. Các đơn vị phát triển tại Việt Nam và Đông Nam Á cần mô hình xử lý được ngôn ngữ địa phương và lời nói trộn ngôn ngữ với độ trễ thấp và chi phí mỗi giờ thấp.

AssemblyAI, Inc. thành lập năm 2017, trụ sở tại New York, CEO là Dylan Fox. Tổng vốn huy động 130 triệu USD tới vòng Series C từ Accel, Insight Partners, Smith Point và Y Combinator. Khách hàng gồm Zoom, Granola, HeyGen, ClickUp, Apollo.io, CallRail và Retell.