Citadel Lens và Citadel Radar – Lớp tin cậy kỹ thuật cho AI

Citadel AI Inc. là startup có trụ sở tại Tokyo, thành lập pháp nhân vào tháng 12/2020 bởi CEO Hironori Kobayashi và CTO Kenny Song. Công ty cung cấp lớp tin cậy kỹ thuật giúp tổ chức kiểm thử, giám sát và quản trị các hệ thống học máy và AI tạo sinh từ giai đoạn thử nghiệm đến vận hành thực tế, đồng thời đã hợp tác với NEDO, AIST và Văn phòng Nội các Nhật Bản về đánh giá an toàn AI.

Citadel Lens đánh giá hệ thống LLM, RAG và thị giác máy tính bằng các chỉ số tự động về ảo giác, mức liên quan, độc hại và bẻ khoá, bộ dữ liệu an toàn gồm 11 nhóm rủi ro, red teaming tự động, chỉ số tuỳ biến không cần lập trình và rà soát có con người tham gia, sau đó xuất báo cáo kỹ thuật và tuân thủ theo Hướng dẫn AI cho doanh nghiệp của Nhật Bản và Đạo luật AI của EU. Lens Governance bổ sung danh mục AI và quy trình duyệt trước triển khai, còn Citadel Radar là tường lửa AI thời gian thực chặn bẻ khoá, dữ liệu cá nhân và rò rỉ dữ liệu. Người dùng gồm Tokio Marine, ONO Pharmaceutical và BSI.

• Chỉ số LLM tự động: chấm điểm ảo giác, mức liên quan, độc hại và khả năng chống bẻ khoá trên nhiều ngôn ngữ.
• Bộ dữ liệu an toàn và red teaming: 11 nhóm rủi ro và câu lệnh tấn công dựng từ mẫu bẻ khoá.
• Chỉ số tuỳ biến: định nghĩa tiêu chí đánh giá bằng prompt, không cần lập trình.
• Kiểm thử mô hình học máy: kiểm tra độ bền, tự tìm thiên lệch và giải thích dự đoán cho mô hình thị giác và dữ liệu bảng.
• Lens Governance: danh mục AI, đánh giá rủi ro và quy trình duyệt trước triển khai.
• Citadel Radar: tường lửa AI và giám sát tác tử khi vận hành, cảnh báo hoặc chặn đầu vào và hành động không an toàn.

Ngân hàng và công ty bảo hiểm tại Việt Nam có thể kiểm thử chatbot chăm sóc khách hàng về ảo giác và bẻ khoá, đồng thời lưu báo cáo sẵn sàng cho kiểm toán. Nhà máy vốn Nhật tại Việt Nam có thể kiểm định độ bền và thiên lệch của mô hình kiểm tra ngoại quan. Đơn vị chứng nhận và kiểm toán có thể dùng nền tảng để đánh giá hệ thống AI của khách hàng.

Bộ phận rủi ro và tuân thủ có báo cáo kiểm thử chuẩn hoá, tham chiếu tiêu chuẩn ISO thay cho kiểm tra rời rạc trước khi ra mắt dịch vụ AI tạo sinh. Chỉ số tự động và red teaming giảm công rà soát thủ công, trong khi gán nhãn của con người giữ độ tin cậy cho điểm số. Một vòng khép kín từ kiểm thử trước triển khai tới tường lửa khi vận hành giảm nguy cơ bẻ khoá hoặc rò rỉ dữ liệu tới khách hàng. Các lựa chọn SaaS, đám mây riêng và tại chỗ phù hợp ngành chịu quản lý chặt.

Cơ quan quản lý tại Nhật Bản, EU và Đông Nam Á đang chuyển từ nguyên tắc AI tự nguyện sang yêu cầu có thể kiểm chứng, và các tổ chức chứng nhận cần công cụ để kiểm định AI rủi ro cao. Ngân hàng và công ty bảo hiểm tại Việt Nam và khu vực khi triển khai trợ lý AI tạo sinh cũng chịu áp lực tương tự phải chứng minh đã kiểm thử và có biện pháp kiểm soát khi vận hành.

Citadel AI Inc. thành lập pháp nhân ngày 10/12/2020 tại quận Bunkyo, Tokyo, và không liên quan tới Citadel Securities. Công ty đã thực hiện nghiên cứu cùng NEDO và AIST, cùng một dự án của Văn phòng Nội các về môi trường đánh giá AI. BSI dùng Lens cho đánh giá sự phù hợp với Đạo luật AI của EU, và CHAI đưa công ty vào danh sách nhà cung cấp dịch vụ bảo đảm AI. Website hiển thị huy hiệu HIPAA, GDPR và ISO 27001.