Datumo Eval – Đánh giá LLM và red teaming AI

SelectStar, mang thương hiệu toàn cầu Datumo, là công ty dữ liệu và đánh giá AI có trụ sở tại Seoul, thành lập tháng 11/2018. Khởi đầu từ dữ liệu huấn luyện AI, công ty nay tập trung vào việc làm cho dịch vụ LLM đáng tin cậy, đã xây dựng bộ dữ liệu chuẩn đánh giá độ tin cậy LLM đầu tiên của Hàn Quốc và đồng tổ chức các cuộc thi red team AI tạo sinh với chính phủ Hàn Quốc và GSMA.

Datumo Eval cho phép tải lên tài liệu nguồn, tự động sinh câu hỏi đánh giá theo ngành và chấm điểm câu trả lời của mô hình bằng chỉ số mặc định hoặc tuỳ biến. Nhiều tác tử LLM phối hợp sinh câu hỏi và chấm điểm, và bước Human Alignment thu hẹp khoảng cách giữa ý định đánh giá và điểm tự động. Dịch vụ AI Red Team dò tìm đầu ra độc hại hoặc không an toàn của mô hình, ngoài ra công ty cung cấp bộ dữ liệu tuỳ chỉnh và cao cấp, gồm dữ liệu đánh giá mức vô hại của LLM. Logo trên website gồm Samsung SDS, NAVER, LG CNS, SKT, KT, Hana và Shinhan.

• Sinh câu hỏi: tạo câu hỏi đánh giá theo ngành từ tài liệu nguồn được tải lên.
• Đánh giá câu trả lời: chấm điểm phản hồi của mô hình bằng chỉ số mặc định hoặc tuỳ biến.
• Chấm điểm đa tác tử: nhiều tác tử LLM phối hợp sinh câu hỏi và đánh giá.
• Human Alignment: hiệu chỉnh điểm tự động theo ý định đánh giá của con người.
• AI Red Team: kiểm thử đối kháng tìm hành vi độc hại và không an toàn của mô hình.
• Bộ dữ liệu: dữ liệu tuỳ chỉnh, kho dữ liệu cao cấp và dữ liệu đánh giá mức vô hại LLM.

Ngân hàng tại Việt Nam có thể sinh bộ kiểm thử từ tài liệu sản phẩm để kiểm tra chatbot trả lời khách hàng có chính xác hay không. Doanh nghiệp điện tử và viễn thông vốn Hàn Quốc tại Việt Nam có thể red teaming trợ lý nội bộ trước khi triển khai. Đơn vị dịch vụ pháp lý và giáo dục có thể định nghĩa chỉ số tuỳ biến cho chất lượng câu trả lời.

Đội ngũ dựng bộ đánh giá từ chính tài liệu của mình trong vài giờ thay vì tự viết câu hỏi kiểm thử. Chỉ số tuỳ biến cho phép từng ngành như tài chính hay pháp lý tự định nghĩa thế nào là câu trả lời tốt. Human Alignment giữ cho việc chấm điểm tự động nhất quán với ý kiến chuyên gia. Red teaming và bộ dữ liệu đánh giá mức vô hại giúp phát hiện đầu ra không an toàn trước khi tới tay khách hàng.

Khi doanh nghiệp châu Á xây dựng chatbot chuyên ngành trên nền LLM trong nước và quốc tế, việc đánh giá đang chuyển từ bộ chuẩn tiếng Anh chung chung sang tiêu chí gắn với từng nghiệp vụ và ngôn ngữ. Cơ quan quản lý Hàn Quốc và khu vực cũng thúc đẩy red teaming như một phần của an toàn AI, xu hướng mà doanh nghiệp Việt Nam nhiều khả năng sẽ gặp khi triển khai AI tạo sinh.

SelectStar Inc. có trụ sở tại quận Gangnam, Seoul, và DATUMO Inc. được thành lập tháng 11/2018. Công ty đã gọi vốn hạt giống năm 2019 và các vòng Series A mở rộng 6,1 triệu USD năm 2022 và 2,7 triệu USD năm 2023. Ghi nhận gồm Forbes 30 Under 30 châu Á 2021, Forbes Korea AI 50 năm 2025 và KPAS 2024. Năm 2025 đồng tổ chức GenAI Red Team Challenge với GSMA tại MWC và tham gia liên minh mô hình nền tảng AI riêng của Hàn Quốc.