TrueFoundry – Cổng AI và nền tảng triển khai AI

TrueFoundry, do Ensemble Labs Inc tại San Francisco vận hành, xây dựng hạ tầng doanh nghiệp để triển khai và quản trị ứng dụng AI tạo sinh và tác tử AI. Công ty giải quyết tình trạng phân mảnh khi nhiều nhóm gọi các nhà cung cấp LLM, công cụ MCP và mô hình tự lưu trữ khác nhau mà không có kiểm soát tập trung về chi phí, quyền truy cập và dữ liệu.

Nền tảng gồm Cổng AI định tuyến yêu cầu giữa các nhà cung cấp LLM với cơ chế dự phòng, giới hạn tần suất và ngân sách; Cổng MCP và Cổng tác tử quản lý quyền dùng công cụ và danh tính tác tử; quản lý prompt; và nền tảng triển khai AI để huấn luyện, tinh chỉnh, phục vụ mô hình trên Kubernetes. Hệ thống chạy trên đám mây công cộng, VPC của khách hàng, tại chỗ hoặc môi trường cách ly mạng, có RBAC, SSO, nhật ký kiểm toán và truy vết OpenTelemetry. Khách hàng nêu trên trang gồm NVIDIA, ResMed, Siemens Healthineers, Automation Anywhere, Cargill và NetApp.

• Cổng AI: API hợp nhất, định tuyến theo chi phí, độ trễ và tính sẵn sàng, có dự phòng và ngân sách.
• Cổng MCP: khám phá, xác thực và phân quyền cho công cụ và máy chủ MCP.
• Cổng tác tử: quản lý danh tính tác tử, chính sách sử dụng và truy vết.
• Rào chắn và quản trị: RBAC, SSO, hạn mức, giới hạn tần suất và nhật ký kiểm toán bất biến.
• Nền tảng triển khai AI: huấn luyện, tinh chỉnh và phục vụ mô hình trên cụm Kubernetes.
• Khả năng quan sát: truy vết OpenTelemetry xuất sang Grafana, Datadog và Prometheus.

Ngân hàng tại Việt Nam có thể đưa mọi ứng dụng AI tạo sinh nội bộ qua một cổng duy nhất với ngân sách theo phòng ban và kiểm soát dữ liệu cá nhân. Công ty gia công phần mềm có thể cấp cho lập trình viên quyền dùng nhiều mô hình lập trình có kiểm soát. Doanh nghiệp bán lẻ và viễn thông có thể lưu trữ mô hình tinh chỉnh trong VPC riêng, đồng thời dùng LLM bên ngoài làm phương án dự phòng.

Một mặt phẳng điều khiển cho toàn bộ lưu lượng LLM, MCP và tác tử giúp bộ phận bảo mật và tài chính nắm rõ mức sử dụng và chi phí. Theo nhà cung cấp, cổng chỉ thêm khoảng 3-4 ms độ trễ và xử lý hơn 350 yêu cầu mỗi giây trên một vCPU. Khách hàng báo cáo mức sử dụng cụm GPU tăng tới 80% và chi phí đám mây thấp hơn 35% so với cấu hình SageMaker trước đó. Triển khai tự lưu trữ giữ dữ liệu trong môi trường của chính khách hàng.

Doanh nghiệp đang chuyển từ thử nghiệm một chatbot sang vận hành nhiều tác tử AI dùng nhiều nhà cung cấp mô hình và công cụ nội bộ, kéo theo lo ngại về chi phí, rò rỉ dữ liệu và tuân thủ. Cổng AI và lớp quản trị tác tử đang trở thành hạ tầng tiêu chuẩn, nhất là với các ngành có quản lý chặt tại châu Á đòi hỏi lưu trữ dữ liệu trong nước.

Trụ sở tại Ensemble Labs Inc, San Francisco, hoạt động tại Bắc Mỹ, châu Âu và châu Á – Thái Bình Dương. Gọi vốn Series A 19 triệu USD tháng 2/2025 do Intel Capital dẫn dắt, cùng Peak XV, Eniac Ventures và Jump Capital. Tháng 6/2026 mua lại Seldon AI (Anh), đơn vị phát triển Seldon Core. Công bố tuân thủ SOC 2, HIPAA và GDPR.