Friendli Suite – Nền tảng suy luận mô hình AI

FriendliAI Corp là công ty chuyên về suy luận AI, trụ sở tại San Francisco và có trung tâm tại Seoul, do CEO kiêm đồng sáng lập Byung-Gon Chun dẫn dắt. Công ty giải quyết bài toán chi phí và độ trễ cao khi vận hành mô hình ngôn ngữ lớn và mô hình đa phương thức trong thực tế, nơi phần lớn thời gian vận hành dành cho suy luận.

Friendli Suite cho phép gọi mô hình mở qua Model APIs, triển khai mô hình riêng hoặc mô hình từ Hugging Face trên Dedicated Endpoints có tự động mở rộng, hoặc dùng GPU sẵn có của khách hàng. Bộ máy suy luận dùng kernel GPU tuỳ biến, bộ nhớ đệm thông minh, gộp lô liên tục, giải mã suy đoán và suy luận song song; công ty cho biết tốc độ nhanh hơn gấp đôi so với cách phục vụ thông thường, cam kết thời gian hoạt động 99,99%. Nền tảng hỗ trợ ngay từ ngày đầu các mô hình như NVIDIA Nemotron và GLM. Khách hàng gồm LG AI Research, SK Telecom, Upstage, Liner và Scatter Lab.

• Model APIs: dùng mô hình mở theo mức sử dụng, hỗ trợ bản phát hành mới ngay từ ngày đầu.
• Dedicated Endpoints: triển khai mô hình riêng hoặc từ Hugging Face trên GPU dành riêng, tự động mở rộng.
• Bring Your Own GPU: chạy bộ máy Friendli trên hạ tầng GPU của khách hàng.
• Tối ưu suy luận: kernel tuỳ biến, bộ nhớ đệm, gộp lô liên tục và giải mã suy đoán.
• InferenceSense: giúp nhà vận hành đám mây GPU khai thác doanh thu từ năng lực nhàn rỗi.
• Kiểm soát doanh nghiệp: tuân thủ SOC 2 Type II, HIPAA và cam kết hoạt động 99,99%.

Nhà cung cấp chatbot và tổng đài tại Việt Nam có thể phục vụ mô hình mở đã tinh chỉnh với chi phí GPU thấp hơn. Nhà mạng hoặc nhà cung cấp đám mây trong nước có cụm GPU có thể chạy bộ máy này trên phần cứng của mình để cung cấp API suy luận. Công ty phần mềm có thể vận hành tác tử lập trình hoặc xử lý tài liệu bằng mô hình mở qua một API duy nhất.

Công ty cho biết bộ máy suy luận giúp giảm tới 90% chi phí GPU mà vẫn giữ độ chính xác của mô hình. Liner báo cáo chi phí LLM mỗi lượt hội thoại giảm khoảng 30%, còn NextDay AI mở rộng tới hàng nghìn tỷ token với số GPU ít hơn 50%. Triển khai một chạm hàng trăm nghìn mô hình trên Hugging Face giúp rút ngắn thời gian đưa vào vận hành; LG AI Research đưa API mô hình riêng lên chạy trong khoảng một ngày.

Khi AI tạo sinh chuyển từ thử nghiệm sang vận hành thực tế và các tác vụ dạng tác tử, suy luận trở thành phần lớn nhất trong chi phí vận hành AI. Doanh nghiệp ngày càng dùng mô hình trọng số mở để kiểm soát chi phí và dữ liệu, tạo nhu cầu về nền tảng phục vụ mô hình được tối ưu, kể cả tại các thị trường châu Á đang phát triển mô hình ngôn ngữ bản địa.

FriendliAI Corp đặt trụ sở tại San Francisco và có trung tâm tại Seoul; năm 2026 mở văn phòng lớn hơn tại San Francisco. Gọi vốn mở rộng vòng hạt giống 20 triệu USD tháng 8/2025 do Capstone Partners dẫn dắt, cùng Sierra Ventures, Alumni Ventures, KDB và KB Securities. Đối tác gồm LG AI Research (EXAONE), NVIDIA, Z.ai, Hugging Face và Ollama.