LiteLLM – Cổng AI (AI Gateway) mã nguồn mở

Berri AI Incorporated phát triển LiteLLM, một cổng AI (LLM proxy) mã nguồn mở giúp truy cập nhiều nhà cung cấp mô hình ngôn ngữ qua một API duy nhất tương thích OpenAI. Trang About cho biết công ty thành lập năm 2023 thuộc lứa Y Combinator Winter 2023 và đặt tại San Francisco, California.

Cổng này nằm giữa ứng dụng và các nhà cung cấp mô hình, bổ sung theo dõi chi tiêu theo khóa, người dùng và nhóm, ngân sách, giới hạn tốc độ, SSO, guardrail, định tuyến và bộ nhớ đệm. Có thể tự triển khai bằng Docker, Helm hoặc Terraform, kể cả môi trường cách ly mạng, đồng thời có SDK Python và bản gateway viết bằng Rust. Trang web trích lời đánh giá từ NVIDIA, Netflix, Okta và AT&T.

• API thống nhất: truy cập tương thích OpenAI tới hơn 140 nhà cung cấp và hơn 1.800 mô hình.
• Kiểm soát chi tiêu: theo dõi chi tiêu theo khóa, người dùng, nhóm và công cụ, kèm ngân sách và giới hạn tốc độ.
• Định tuyến và bộ nhớ đệm: cân bằng tải, định tuyến chi phí thấp nhất, dự phòng và semantic caching.
• Bảo mật: SSO, JWT, RBAC, nhật ký kiểm toán, guardrail chống lộ PII và prompt injection.
• Triển khai linh hoạt: Docker, Helm và Terraform, tự lưu trữ hoặc môi trường cách ly.
• Tích hợp quan sát: kết nối Langfuse, Arize Phoenix, OpenTelemetry và Datadog.

Đội nền tảng của ngân hàng Việt Nam có thể chạy LiteLLM trong cụm máy chủ riêng để cấp cho các nhóm nội bộ quyền dùng nhiều LLM theo ngân sách. Tập đoàn viễn thông hoặc thương mại điện tử có thể định tuyến lưu lượng chatbot tới mô hình rẻ nhất đủ chất lượng kèm dự phòng. Đơn vị tích hợp hệ thống có thể cung cấp gateway được quản lý với tính phí theo từng khách hàng.

Một API cho hơn 140 nhà cung cấp và hơn 1.800 mô hình giúp giảm phụ thuộc vào một nhà cung cấp. Theo dõi chi tiêu theo khóa và nhóm cùng ngân sách cứng giúp bộ phận tài chính và nền tảng kiểm soát chi phí. Tự triển khai và không gửi telemetry giúp prompt và dữ liệu nằm trong mạng nội bộ của bên mua. Gói mã nguồn mở miễn phí cho phép thử nghiệm chi phí thấp trước khi ký hợp đồng doanh nghiệp.

Doanh nghiệp dùng nhiều nhà cung cấp LLM cần một lớp trung tâm để cấp quyền truy cập, phân bổ chi phí và quản trị. Cổng AI đang trở thành hạ tầng tiêu chuẩn khi lưu lượng agent và MCP tăng. Tại Việt Nam và Đông Nam Á, các ngân hàng và tập đoàn thử nghiệm AI tạo sinh thường yêu cầu tự kiểm soát dữ liệu và chi phí.

Pháp nhân Berrie AI Incorporated (cách viết ở chân trang không đồng nhất), San Francisco, thành lập 2023, YC W2023, vòng seed 1,6 triệu USD theo trang About. Gói Enterprise bổ sung SSO, JWT, nhật ký kiểm toán và SLA. Sự cố bảo mật: bản độc hại v1.107.0 bị đẩy lên PyPI và Docker ngày 2026-10-21, đã được đánh dấu khống chế; bản enterprise không bị ảnh hưởng.