Valohai – Nền tảng MLOps

Valohai là công ty nền tảng học máy của Phần Lan, thành lập năm 2016 tại Turku, được Superhero Capital, Reaktor Ventures và Business Finland hậu thuẫn. Công ty loại bỏ phần việc hạ tầng phía sau huấn luyện và triển khai mô hình, giúp đội khoa học dữ liệu chạy nhiều thí nghiệm song song trên đám mây hoặc máy chủ tại chỗ của chính mình.

Nền tảng điều phối quy trình nhiều bước có logic điều kiện, cổng chất lượng và phê duyệt thủ công, quản lý phiên bản dữ liệu bất biến, theo dõi thí nghiệm và truy vết nguồn gốc từ mô hình về dữ liệu và mã, quản lý kho mô hình với quy trình phê duyệt. Hệ thống hỗ trợ huấn luyện phân tán với PyTorch Distributed, DeepSpeed, Horovod, triển khai điểm cuối HTTP trên Kubernetes và bổ sung đánh giá LLM, RAG. Nền tảng chạy trên AWS, Azure, Google Cloud, Oracle, OVHcloud, Scaleway, tại chỗ hoặc cách ly mạng. Người dùng gồm Viator và Arquimea.

• Quy trình: luồng nhiều bước có điều kiện, cổng chất lượng, bước song song và phê duyệt thủ công.
• Bộ dữ liệu: dữ liệu bất biến có phiên bản, dùng bí danh để nâng cấp phiên bản.
• Truy vết và theo dõi thí nghiệm: gắn mỗi mô hình với lần chạy, phiên bản dữ liệu và bản triển khai.
• Kho mô hình: quy trình phê duyệt và thuộc tính mô hình chỉnh sửa được.
• Huấn luyện phân tán và triển khai: PyTorch Distributed, DeepSpeed, Horovod và điểm cuối trên Kubernetes.
• Đánh giá LLM: so sánh mô hình và prompt theo chất lượng, độ trễ và chi phí.

Ngân hàng tại Việt Nam có thể quản lý quy trình mô hình chấm điểm tín dụng và chống gian lận với truy vết đầy đủ phục vụ kiểm toán. Nhà máy có thể huấn luyện lại mô hình kiểm tra ngoại quan trên GPU tại chỗ khi có dữ liệu mới. Đội dữ liệu của nhà mạng có thể chạy thí nghiệm song song trên đám mây và cụm máy nội bộ.

Dữ liệu và năng lực tính toán nằm trong môi trường của khách hàng, còn nền tảng lo phần điều phối. Viator rút ngắn thời gian xây dựng quy trình học máy từ hai tuần xuống nửa ngày. Arquimea tăng gấp đôi mức sử dụng GPU và tránh được 180.000-270.000 EUR chi phí phần cứng. Truy vết nguồn gốc tự động và quy trình phê duyệt hỗ trợ kiểm toán trong các ngành có quản lý chặt.

Khi ngày càng nhiều doanh nghiệp đưa học máy từ sổ tay thử nghiệm vào vận hành, họ cần khả năng tái lập, quản trị và dùng GPU hiệu quả mà không bị khoá vào một nhà cung cấp đám mây. Các ngành có quản lý chặt tại châu Á ngày càng muốn MLOps chạy trong hạ tầng riêng để đáp ứng yêu cầu lưu trữ dữ liệu trong nước và kiểm toán.

Thành lập năm 2016 tại Turku, Phần Lan. Gọi vốn 1,8 triệu USD năm 2018 do Superhero Capital dẫn dắt, cùng Reaktor Ventures và Business Finland. Có mặt trên Oracle Cloud Marketplace và là đối tác của AWS, Azure, NVIDIA, OVHcloud và Snowflake. Đạt điểm 4,9/5 trên G2.