Backend.AI – Nền tảng vận hành hạ tầng AI

Lablup Inc. là công ty phần mềm hạ tầng AI đặt trụ sở tại Seoul, thành lập năm 2015, có công ty con tại San Jose (Mỹ). Công ty khởi nguồn từ công việc tính toán phục vụ nghiên cứu và phát triển phần mềm giúp tổ chức chia sẻ, vận hành hiệu quả các cụm GPU và bộ tăng tốc đắt tiền thay vì để chúng nhàn rỗi.

Backend.AI được mô tả là hệ điều hành cho hạ tầng AI. Bộ điều phối Sokovan lập lịch các tác vụ chạy trong container, công nghệ ảo hoá GPU ở mức container chia GPU thành từng phần nhỏ, còn lớp trừu tượng phần cứng quản lý hơn 11 loại bộ tăng tốc của NVIDIA, AMD, Intel, Rebellions, FuriosaAI và các hãng khác. Giao diện web hỗ trợ đa thuê bao bốn cấp, giám sát và quản trị, trong khi FastTrack bao quát quy trình từ chuẩn bị dữ liệu tới phục vụ mô hình. Nền tảng chạy tại chỗ (kể cả môi trường cách ly mạng), trên đám mây công cộng hoặc dạng lai, đã triển khai tại hơn 120 địa điểm như Samsung Electronics, KT, Shinhan Bank và các viện nghiên cứu Hàn Quốc.

• Bộ điều phối Sokovan: lập lịch tác vụ AI chạy trong container trên cụm một nút hoặc nhiều nút.
• Ảo hoá GPU: công nghệ có bằng sáng chế ở mức container, chia GPU thành từng phần nhỏ.
• Lớp trừu tượng phần cứng: quản lý hơn 11 loại bộ tăng tốc gồm NVIDIA, AMD, Intel và NPU Hàn Quốc.
• Đa thuê bao: quản trị tài nguyên bốn cấp gồm tổ chức, phòng ban, dự án và người dùng.
• Quy trình FastTrack: bao quát chuẩn bị dữ liệu, huấn luyện và phục vụ mô hình trong một luồng.
• Reservoir: kho mô hình và kho gói phần mềm dùng cho mạng cách ly.

Ngân hàng tại Việt Nam có thể vận hành cụm GPU tại chỗ dùng chung cho các nhóm rủi ro, chống gian lận và chatbot với hạn mức theo phòng ban. Trường đại học và viện nghiên cứu có thể cấp quyền dùng GPU theo phần nhỏ cho sinh viên và phòng thí nghiệm. Nhà mạng và nhà cung cấp đám mây có thể dùng làm lớp lập lịch cho dịch vụ GPU theo yêu cầu.

Chia sẻ GPU theo phần nhỏ giúp tăng mức sử dụng; Lablup cho biết mức sử dụng GPU tăng từ 30% lên 85% và chi phí GPU giảm 40%. Một nền tảng quản lý được nhiều loại bộ tăng tốc của nhiều hãng, giảm phụ thuộc nhà cung cấp. Hạn mức đa thuê bao cho phép các phòng ban và dự án dùng chung một cụm với cơ chế quản trị rõ ràng. Khả năng triển khai cách ly mạng phù hợp ngân hàng, quốc phòng và cơ quan công quyền có yêu cầu dữ liệu nghiêm ngặt.

Doanh nghiệp và chính phủ đang xây dựng cụm AI riêng và AI chủ quyền, nhưng GPU khan hiếm và thường bị dùng chưa hết công suất. Nhu cầu về phần mềm gộp chung bộ tăng tốc, hỗ trợ nhiều hãng chip và chạy được trong mạng cách ly đang tăng, kể cả tại Đông Nam Á nơi ngân hàng, nhà mạng và trường đại học đang tự đầu tư năng lực GPU.

Thành lập năm 2015 tại Seoul; công ty con Lablup USA ra đời tháng 1/2025. Đạt chứng nhận NVIDIA DGX-Ready Software, là đối tác của Intel và Dell, sở hữu bằng sáng chế ảo hoá GPU tại Hàn Quốc, Mỹ và Nhật Bản. Là đối tác hạ tầng của liên danh Upstage trong dự án AI chủ quyền của Hàn Quốc. Dự kiến niêm yết trên KOSDAQ tháng 11/2026; có đối tác bán lại tại Mỹ, Anh và Singapore.