Confident AI – Nền tảng đánh giá và red teaming cho LLM

Confident AI Inc. là startup tại San Francisco, thành lập năm 2024 bởi Jeffrey Ip và Kritin Vongthongsri, thuộc chương trình Y Combinator khoá Winter 2025. Công ty phát triển DeepEval, framework mã nguồn mở để kiểm thử đơn vị ứng dụng LLM, và DeepTeam, framework mã nguồn mở cho red teaming LLM, đồng thời bán nền tảng chất lượng AI cho doanh nghiệp xây trên hai framework này.

Nền tảng kết hợp đánh giá LLM với hơn 50 chỉ số dựa trên nghiên cứu, mô phỏng hội thoại nhiều lượt và giọng nói, kiểm thử hồi quy trong CI/CD; khả năng quan sát chạy đánh giá trên mọi trace, span và luồng hội thoại kèm phát hiện trôi dạt và cảnh báo; quản trị AI với nhật ký kiểm toán, phân quyền theo vai trò và cổng kiểm soát phát hành; và red teaming AI dò tìm chèn prompt, bẻ khoá, thiên lệch, rò rỉ dữ liệu cá nhân và thông tin sai lệch với hơn 50 mẫu tấn công, theo OWASP Top 10 cho LLM, NIST AI RMF và Đạo luật AI của EU, chấm mức độ nghiêm trọng theo CVSS. Các nghiên cứu điển hình gồm Finom, RLDatix, Amdocs, Humach và Supernormal.

• Đánh giá LLM: hơn 50 chỉ số dựa trên nghiên cứu, mô phỏng hội thoại nhiều lượt và căn chỉnh chỉ số theo đánh giá của con người.
• Kiểm thử hồi quy: chạy đánh giá trong môi trường phát triển và pipeline CI/CD để chặn bản phát hành lỗi.
• Khả năng quan sát: trace kèm đánh giá trên từng span và luồng hội thoại, phát hiện trôi dạt và cảnh báo thời gian thực.
• Red teaming AI: hơn 50 mẫu tấn công cho chèn prompt, bẻ khoá, thiên lệch và rò rỉ dữ liệu cá nhân, chấm điểm theo CVSS.
• Quản trị AI: nhật ký kiểm toán, phân quyền theo vai trò, bằng chứng tuân thủ và cổng phát hành toàn tổ chức.
• Lõi mã nguồn mở: framework DeepEval và DeepTeam theo giấy phép Apache-2.0.

Doanh nghiệp gia công phần mềm Việt Nam có thể bổ sung bộ kiểm thử dựa trên DeepEval cho dự án LLM giao cho khách hàng nước ngoài. Ngân hàng và công ty bảo hiểm có thể red team chatbot chăm sóc khách hàng và lưu bằng chứng tuân thủ phục vụ kiểm toán. Sàn thương mại điện tử có thể giám sát ảo giác và trôi dạt của trợ lý AI sau mỗi lần nâng cấp mô hình.

Đội kỹ thuật phát hiện lỗi hồi quy của prompt, mô hình và tác tử ngay trong CI/CD trước khi phát hành thay vì kiểm tra thủ công ngẫu nhiên. Bộ phận bảo mật và tuân thủ có thể chạy đánh giá red teaming không cần lập trình và nhận báo cáo ánh xạ theo OWASP, NIST và Đạo luật AI của EU. Gói miễn phí và framework mã nguồn mở giúp giảm chi phí khởi đầu, còn gói doanh nghiệp bổ sung triển khai tại chỗ, lưu trữ dữ liệu theo vùng và HIPAA.

Khi doanh nghiệp đưa tính năng LLM và tác tử vào vận hành thực tế, đánh giá và red teaming đang trở thành bước bắt buộc trước phát hành thay vì chỉ là việc nghiên cứu. Cơ quan quản lý và kiểm toán ngày càng yêu cầu bằng chứng kiểm thử theo các khung như OWASP và NIST, và đội phát triển tại Đông Nam Á thường dùng công cụ mã nguồn mở trước khi mua nền tảng doanh nghiệp.

Thành lập năm 2024 tại San Francisco và thuộc khoá Winter 2025 của Y Combinator, hồ sơ YC ghi đội ngũ 7 người. Trang giá hiển thị huy hiệu SOC 2 Type II, HIPAA, GDPR và có trung tâm tin cậy. Các gói gồm miễn phí, Starter 200 USD và Team 2.000 USD mỗi tháng, gói Enterprise báo giá riêng.