Rafay – Nền tảng GPU PaaS và Token Factory

Rafay Systems là công ty điều phối hạ tầng có trụ sở tại Sunnyvale, California, do CEO Haseeb Budhani đồng sáng lập. Công ty giúp các đám mây GPU mới (neocloud), đám mây AI chủ quyền, nhà mạng và doanh nghiệp biến năng lực GPU, CPU thô thành dịch vụ đám mây AI tự phục vụ, có quản trị, để bán ra ngoài hoặc chia sẻ nội bộ.

Nền tảng Rafay cung cấp GPU vật lý, máy ảo, cụm Kubernetes và SLURM dưới dạng dịch vụ, có cơ chế đa thuê bao cứng và mềm, hạn mức và chính sách. Lớp AI Factory đem lại nền tảng AI tự phục vụ cho người dùng, còn Token Factory cung cấp mô hình qua điểm cuối tương thích OpenAI với đo đếm token, định giá và kiểm soát truy cập để phân bổ chi phí hoặc thương mại hoá. Hệ thống còn có khả năng quan sát, quản lý đội cụm Kubernetes trên EKS, AKS, GKE và tại chỗ, cùng tối ưu chi phí. Khách hàng gồm Telus, Firmus Technologies, Cassava Technologies, Yotta, Neysa, Sharon AI và MoneyGram.

• GPU PaaS: cung cấp GPU vật lý, máy ảo, Kubernetes và SLURM dưới dạng dịch vụ cho người thuê.
• Đa thuê bao: cách ly cứng và mềm giữa khách hàng, nhóm và dự án kèm hạn mức.
• AI Factory: nền tảng AI tự phục vụ cho huấn luyện, tinh chỉnh và phục vụ mô hình.
• Token Factory: điểm cuối mô hình tương thích OpenAI với đo đếm token, định giá và phân quyền.
• Khả năng quan sát: giám sát đa thuê bao với phân tích nguyên nhân gốc bằng Atlas AI.
• Quản lý đội cụm Kubernetes: vòng đời và chính sách trên EKS, AKS, GKE, OKE và tại chỗ.

Nhà mạng và nhà vận hành trung tâm dữ liệu tại Việt Nam có thể biến cụm GPU mới thành đám mây GPU đa thuê bao có tính cước. Tập đoàn lớn có thể cấp cho các nhóm nội bộ quyền tự phục vụ GPU và Kubernetes kèm phân bổ chi phí. Dự án AI chủ quyền có thể bán quyền truy cập mô hình tiếng Việt lưu trữ trong nước theo lượng token.

Chủ sở hữu GPU có thể ra mắt đám mây AI để bán, có cổng tự phục vụ, đa thuê bao và dữ liệu tính cước mà không phải tự xây lớp phần mềm. Đo đếm token cho phép nhà vận hành bán gói token trả trước và trả sau cho các mô hình. Một mặt phẳng điều khiển chuẩn hoá vận hành Kubernetes và GPU trên đám mây công cộng, riêng và tại chỗ. Rafay dẫn chứng Minima tạo ra nhiều hơn 52,5% token với thời gian GPU ít hơn 1,53 lần khi suy luận thực tế.

Nhà mạng và doanh nghiệp trung tâm dữ liệu tại châu Á đang đầu tư cụm GPU và đám mây AI chủ quyền, nhưng phần lớn thiếu phần mềm để bán năng lực đó dưới dạng dịch vụ. Định giá theo token cho mô hình AI đang trở thành mô hình kinh doanh của các nhà máy AI này, kể cả tại Đông Nam Á nơi Rafay cho biết đã có triển khai.

Trụ sở tại Sunnyvale, California. Đạt NVIDIA Cloud Validated, là thành viên NVIDIA Inception, đối tác Cisco Solutions Plus, thành viên Silver của CNCF và nhà cung cấp dịch vụ Kubernetes được chứng nhận, tuân thủ AICPA SOC. Đối tác gồm NVIDIA, Cisco, Dell Technologies và Lenovo. Công ty cho biết có triển khai nhà máy AI trên sáu châu lục, bao gồm Đông Nam Á.