Cast AI – nền tảng tự động tối ưu chi phí và hiệu năng Kubernetes, GPU

Cast AI được Yuri Frayman, Leon Kuperman và Laurent Gil thành lập năm 2019, trụ sở tại Miami, Florida (Mỹ), phần lớn đội phát triển đặt tại Litva, Ba Lan, Romania và Bulgaria. Công ty giải quyết tình trạng cụm Kubernetes cấp phát dư thừa và năng lực GPU khan hiếm, đắt đỏ khiến hóa đơn đám mây của các đội kỹ thuật tăng cao.

Nền tảng kết nối với EKS, GKE, AKS, OpenShift và cụm tại chỗ, khởi đầu ở chế độ chỉ đọc rồi tự động hóa việc điều chỉnh kích thước workload, gom node, dùng máy spot và tự co giãn. Các module bổ sung gồm Storage Autoscaler, Database Optimizer cho PostgreSQL và MySQL, chia sẻ GPU bằng time-slicing và MIG, OMNI Compute để tìm GPU ở các đám mây và vùng khác, cùng OpsPilot, quy trình agent và máy chủ MCP. Trang web cho biết hơn 2.100 công ty đang dùng, gồm Akamai, BMW Group, FICO, NielsenIQ và Swisscom.

• Điều chỉnh kích thước workload: Liên tục tinh chỉnh yêu cầu CPU và bộ nhớ của workload Kubernetes.
• Tự co giãn cụm: Gom node và chọn máy rẻ hơn, kể cả máy spot, chạy cùng Karpenter hoặc bộ autoscaler riêng.
• Tối ưu GPU: Chia sẻ GPU bằng time-slicing và MIG, tìm GPU xuyên đám mây với OMNI Compute.
• Tối ưu lưu trữ và cơ sở dữ liệu: Mở rộng ổ đĩa trước khi đầy và lưu đệm các lượt đọc lặp lại.
• Cast Radar: Báo cáo chi phí, tỷ lệ lỗi và độ trễ trên các cụm.
• Vận hành bằng AI: OpsPilot, quy trình agent và máy chủ MCP trả lời câu hỏi và tạo pull request sửa lỗi.

Doanh nghiệp thương mại điện tử hoặc fintech Việt Nam chạy EKS hay GKE có thể tự động điều chỉnh kích thước cụm và dùng máy spot để giảm hóa đơn đám mây hằng tháng. Startup AI huấn luyện hoặc phục vụ mô hình có thể chia sẻ GPU và tìm thêm GPU xuyên đám mây khi thiếu. Đội nền tảng của ngân hàng có thể theo dõi chi phí và độ trễ của nhiều cụm trên một màn hình.

Các câu chuyện khách hàng trên trang ghi nhận Banking Circle giảm 50-80% chi phí Kubernetes và Jisr giảm 65% chi phí cụm production mà không ảnh hưởng tính sẵn sàng. Tự động hóa giải phóng thời gian kỹ sư, Altruist cho biết lấy lại 85-130 giờ mỗi tháng. Chia sẻ GPU và tìm GPU xuyên đám mây giúp đội AI có năng lực tính toán khi GPU tại chỗ hết. Bản dùng thử 30 ngày không cần thẻ tín dụng cho phép bên mua đo mức tiết kiệm trước khi cam kết.

Kubernetes đã trở thành môi trường chạy mặc định của sản phẩm số, trong khi workload AI đẩy chi tiêu và tình trạng thiếu GPU lên đầu ngân sách hạ tầng. Thực hành FinOps đang chuyển từ bảng điều khiển sang tự động khắc phục, phù hợp với doanh nghiệp số Đông Nam Á chạy trên các vùng AWS, Google Cloud và Azure tại Singapore, Jakarta và Bangkok.

Thành lập năm 2019, trụ sở tại Miami. Tháng 4/2025 gọi vốn Series C 108 triệu USD do G2 Venture Partners và SoftBank Vision Fund 2 đồng dẫn dắt; nguồn tin của TechCrunch ước định giá gần 900 triệu USD. Là AWS Qualified Software, Google Cloud Premier Partner, thành viên CNCF và FinOps Foundation.