HoneyHive – quan sát và đánh giá tác tử AI

HoneyHive Inc. là công ty Delaware có địa chỉ gửi thư tại Brooklyn, New York trong điều khoản dịch vụ. Công ty cung cấp nền tảng quan sát và đánh giá tác tử giúp doanh nghiệp quan sát, đánh giá và tin cậy các tác tử AI chạy trong sản xuất. Blog công bố đạt SOC 2 Type II, GDPR và HIPAA.

Nền tảng truy vết từng bước prompt, lệnh gọi công cụ, đầu ra và chuyển giao, chấm điểm lưu lượng trực tiếp bằng LLM judge, mã hoặc phản hồi của con người, và cảnh báo khi điểm bị lệch. Thí nghiệm ngoại tuyến so sánh các phiên bản tác tử với tập dữ liệu, hàng đợi chú thích chuyển các trace bị gắn cờ cho chuyên gia. Trang chủ nêu Commonwealth Bank of Australia là khách hàng chạy tác tử cho 17 triệu khách hàng bán lẻ và 55.000 người dùng nội bộ.

• Truy vết: kiểm tra prompt, lệnh gọi công cụ, đầu ra và chuyển giao, gồm cả tác tử chạy dài.
• Đánh giá trực tuyến: chấm điểm chất lượng và an toàn trên lưu lượng thật bằng LLM judge, mã hoặc phản hồi con người.
• Giám sát và cảnh báo: theo dõi chất lượng, chi phí, độ trễ, mức dùng với cảnh báo qua email hoặc webhook.
• Thí nghiệm và tập dữ liệu: so sánh phiên bản tác tử ngoại tuyến và dựng bộ kiểm thử hồi quy từ ca sản xuất.
• Hàng đợi chú thích: chuyển trace bị gắn cờ cho chuyên gia lĩnh vực.
• Công cụ lập trình: CLI, MCP server, quản lý prompt và chặn phát hành trong CI.

Ngân hàng Việt Nam có thể chấm điểm tác tử ngân hàng bán lẻ trên hội thoại thật và chuyển các điểm thấp cho người rà soát. Fintech có thể dựng bộ kiểm thử hồi quy từ các lỗi trong sản xuất. Công ty bảo hiểm có thể so sánh các phiên bản tác tử ngoại tuyến trước khi phát hành.

Gói Developer miễn phí gồm 10.000 sự kiện mỗi tháng, lưu trữ 30 ngày và tối đa 5 người dùng, không cần thẻ tín dụng. Đánh giá trực tuyến chấm điểm lưu lượng thật nên phát hiện sớm chất lượng giảm. Chặn phát hành trong CI và cấu hình dưới dạng mã phù hợp quy trình kỹ thuật hiện có. Có SOC 2 Type II, GDPR với lưu trữ dữ liệu tại EU và HIPAA BAA, cùng tùy chọn tự vận hành hoặc hybrid cho doanh nghiệp.

Doanh nghiệp chạy tác tử AI trong các ngành chịu quản lý như ngân hàng cần đánh giá trong sản xuất và nhật ký kiểm toán, không chỉ kiểm thử ngoại tuyến. Ngân hàng và fintech Việt Nam đang thử nghiệm tác tử cũng có nhu cầu tương tự về chấm điểm chất lượng, lưu trữ dữ liệu và rà soát của con người.

Pháp nhân HoneyHive Inc., công ty Delaware; điều khoản có hiệu lực từ tháng 1/2025. Địa chỉ gửi thư 77 Sands Street, Brooklyn, NY. Có chiết khấu cho startup đã gọi vốn dưới 5 triệu USD.