GMI Cloud – Đám mây GPU và nền tảng suy luận AI

GMI Cloud là nhà cung cấp đám mây thuần AI, trụ sở tại Mountain View, California, do nhà sáng lập kiêm CEO Alex Yeh dẫn dắt, có hơn 120 nhân sự và hiện diện mạnh tại châu Á – Thái Bình Dương. Công ty cung cấp năng lực GPU và dịch vụ suy luận cho doanh nghiệp và công ty AI khó tiếp cận phần cứng NVIDIA cao cấp.

Nền tảng cung cấp máy chủ GPU vật lý riêng có quyền root, bộ điều phối cụm cho huấn luyện nhiều nút, và bộ máy suy luận không máy chủ với tự động mở rộng, gộp yêu cầu, thu về 0 khi không dùng và API vận hành cho mô hình ngôn ngữ lớn và đa phương thức. Sản phẩm mới gồm GMI Router và môi trường chạy tác tử Agentbox. Đây là đối tác ưu tiên của NVIDIA, xây dựng theo kiến trúc tham chiếu của NVIDIA, có trung tâm dữ liệu Tier-4 tại Silicon Valley, Colorado, Đài Loan, Thái Lan và Malaysia. Khách hàng gồm Fireworks, Higgsfield, HeyGen, OpenRouter, Reflection và Trend Micro.

• Máy chủ GPU vật lý: máy chủ H100, H200 dành riêng có quyền root và cấu hình tuỳ chỉnh.
• Bộ điều phối cụm: quản lý cụm nhiều nút cho huấn luyện quy mô lớn.
• Bộ máy suy luận: phục vụ mô hình không máy chủ với tự động mở rộng, gộp yêu cầu và thu về 0.
• API mô hình: điểm cuối vận hành cho mô hình ngôn ngữ lớn và đa phương thức.
• GMI Router: tối ưu hiệu năng và lượng token tiêu thụ giữa các mô hình.
• Agentbox: hạ tầng chạy tác tử AI.

Startup AI Việt Nam có thể thuê cụm H100 hoặc H200 ở khu vực lân cận để huấn luyện mô hình ngôn ngữ tiếng Việt hoặc tạo video. Công ty phần mềm có thể phục vụ mô hình mở qua bộ máy suy luận không máy chủ mà không phải tự quản lý GPU. Doanh nghiệp có thể đặt trước năng lực riêng để huấn luyện mô hình nội bộ.

Giá theo nhu cầu công bố 2,60 USD mỗi giờ GPU cho H100 và 3,20 USD cho H200 giúp chi phí dễ dự đoán. Công ty cho biết thông lượng cao hơn 3,7 lần, suy luận nhanh hơn 5,1 lần và chi phí thấp hơn 30% trên lưu lượng thực tế. Khách hàng Higgsfield giảm 65% độ trễ suy luận p95 và 45% chi phí tính toán. Trung tâm dữ liệu tại Thái Lan, Malaysia và Đài Loan đem năng lực tính toán tới gần người dùng Đông Nam Á.

Tình trạng thiếu GPU cao cấp và nhu cầu suy luận tăng nhanh đang thúc đẩy các đám mây AI chuyên biệt và nhà máy AI quốc gia tại châu Á. Doanh nghiệp và startup AI Đông Nam Á muốn năng lực tính toán trong khu vực với độ trễ thấp và dữ liệu lưu gần, và các nhà cung cấp có cơ sở tại Thái Lan, Malaysia có lợi thế phục vụ nhóm khách hàng này.

Trụ sở tại 278 Castro St, Mountain View, California, có hơn 120 nhân sự toàn cầu tính đến tháng 5/2025. Gọi vốn Series A 82 triệu USD tháng 10/2024 do Headline Asia dẫn dắt cùng Banpu Next và Wistron, và 668 triệu USD tháng 9/2026 do ARCHIV dẫn dắt với sự tham gia của NVIDIA. Công bố Nhà máy AI tại Đài Loan năm 2025 và dự án AI chủ quyền 1 GW tại Nhật Bản tháng 3/2026.