Evidently AI – Khung đánh giá và quan sát AI mã nguồn mở

Evidently AI phát triển khung mã nguồn mở (Apache 2.0) để đánh giá và giám sát ứng dụng LLM, hệ thống RAG, agent AI và mô hình học máy dự đoán. Website không nêu năm thành lập hay trụ sở; blog nêu Elena Samuylova là đồng sáng lập kiêm CEO và Emeli Dral là đồng sáng lập kiêm CTO.

Thư viện chạy đánh giá tự động với hơn 100 chỉ số tích hợp và LLM judge, tạo dữ liệu kiểm thử tổng hợp, theo dõi drift và suy giảm trên bảng điều khiển trực tiếp. Bản 0.7.17 bổ sung LLM tracing và quản lý dataset mã nguồn mở. Trang nêu người dùng như DeepL, Wise, Plaid và Realtor.com.

• Đánh giá LLM: hơn 100 chỉ số tích hợp cùng quy tắc tùy chỉnh, bộ phân loại và LLM judge.
• Dữ liệu tổng hợp: tạo đầu vào biên và đối kháng.
• Giám sát: bảng điều khiển trực tiếp về drift, suy giảm và rủi ro mới.
• Kiểm tra phát hiện: ảo giác, PII, độc hại và chất lượng truy xuất.
• Tracing: lưu trữ và xem trace LLM mã nguồn mở dựa trên OpenTelemetry.
• Giám sát ML: theo dõi drift dữ liệu và hiệu năng dự đoán.

Ngân hàng Việt Nam có thể kiểm thử trợ lý RAG hỗ trợ khách hàng về ảo giác và lộ PII trước khi ra mắt. Nhà bán lẻ có thể giám sát drift của mô hình dự báo nhu cầu cùng chatbot tìm kiếm sản phẩm. Công ty phần mềm có thể thêm đánh giá tự động vào quy trình CI.

Giấy phép Apache 2.0 cho phép áp dụng công cụ đánh giá mà không tốn phí bản quyền. Một khung duy nhất bao phủ giám sát LLM, RAG, agent và học máy truyền thống. Các kiểm tra có sẵn cho ảo giác, PII và chất lượng truy xuất giúp rút ngắn thiết kế kiểm thử. Dữ liệu biên tổng hợp giúp phát hiện lỗi trước khi người dùng gặp.

Các đội phát hành sản phẩm RAG và agent cần đánh giá có hệ thống thay vì kiểm tra thủ công. Thư viện đánh giá mã nguồn mở cho phép khách hàng ngành quản lý chặt hoặc nhạy chi phí giữ dữ liệu trong môi trường riêng. Ngân hàng và nhà mạng Việt Nam đã chạy mô hình học máy có thể mở rộng giám sát sang AI tạo sinh.

Mã nguồn mở theo Apache 2.0 với cộng đồng GitHub và Discord; trang nêu được dùng tại hàng nghìn công ty. Đồng sáng lập Elena Samuylova (CEO) và Emeli Dral (CTO) được nêu trên blog. Trụ sở không được nêu.