Langfuse – Nền tảng kỹ thuật LLM mã nguồn mở

Langfuse do Marc Klingen, Max Deichmann và Clemens Rawert khởi động năm 2022, tham gia Y Combinator khoá W23, đặt bộ phận kỹ thuật tại Berlin và văn phòng kinh doanh tại San Francisco. Tháng 1/2026, Langfuse gia nhập ClickHouse nhưng vẫn giữ sản phẩm, giấy phép MIT và dịch vụ đám mây. Nền tảng giúp đội ngũ xây dựng ứng dụng LLM và tác tử AI thấy rõ hệ thống hoạt động ra sao khi vận hành thực tế và cải thiện chất lượng có hệ thống.

Nền tảng ghi lại dấu vết phân cấp của mọi lệnh gọi LLM, lệnh gọi công cụ và bước truy xuất, cho phép lọc theo người dùng, phiên, chi phí và độ trễ. Hệ thống bổ sung đánh giá bằng LLM làm giám khảo, hàm heuristic hoặc hàng đợi gán nhãn thủ công, quản lý prompt có phiên bản, triển khai và quay lui, sân thử nghiệm, thí nghiệm trên bộ dữ liệu, bảng điều khiển chi phí và độ trễ kèm cảnh báo. Tích hợp qua OpenTelemetry và SDK Python, JavaScript; chạy trên Langfuse Cloud tại vùng Mỹ, EU, Nhật Bản hoặc tự lưu trữ trên Docker, Kubernetes. Hơn 50.000 công ty sử dụng, gồm 21 công ty thuộc Fortune 50.

• Truy vết: dấu vết phân cấp của lệnh gọi LLM, sử dụng công cụ và bước truy xuất.
• Đánh giá: LLM làm giám khảo, chấm điểm heuristic và hàng đợi gán nhãn thủ công.
• Quản lý prompt: prompt có phiên bản, triển khai và quay lui bằng một lần bấm.
• Thí nghiệm và sân thử: so sánh mô hình và prompt trên bộ dữ liệu song song.
• Phân tích chi phí và độ trễ: bảng điều khiển và cảnh báo tự động.
• Triển khai linh hoạt: đám mây tại vùng Mỹ, EU, Nhật Bản hoặc tự lưu trữ qua Docker, Helm và Terraform.

Ngân hàng tại Việt Nam có thể tự lưu trữ Langfuse để giám sát chatbot chăm sóc khách hàng và kiểm tra lại câu trả lời. Công ty phần mềm phát triển tác tử AI có thể chạy đánh giá trước mỗi lần phát hành. Sàn thương mại điện tử có thể theo dõi chi phí và độ trễ của trợ lý tìm kiếm sản phẩm trên nhiều mô hình.

Mọi tính năng đều theo giấy phép MIT, không giới hạn khi tự lưu trữ, nên doanh nghiệp có thể giữ dữ liệu dấu vết trong hạ tầng của mình. Truy vết và đánh giá giúp nhanh chóng phát hiện ảo giác, bước xử lý chậm và chi phí tăng đột biến trong ứng dụng LLM đang vận hành. Quản lý prompt cho phép đội sản phẩm thay đổi prompt mà không cần phát hành mã mới. Gói Hobby miễn phí gồm 50.000 quan sát mỗi tháng, gói Core giá 29 USD mỗi tháng.

Khi doanh nghiệp đưa ứng dụng LLM và tác tử AI vào vận hành, khả năng quan sát và đánh giá trở nên thiết yếu để kiểm soát chất lượng, chi phí và rủi ro. Công cụ mã nguồn mở, tự lưu trữ được ưa chuộng ở những nơi có quy định lưu trữ dữ liệu trong nước, kể cả trong ngành ngân hàng, viễn thông và khu vực công tại Đông Nam Á.

Khởi động năm 2022; tham gia Y Combinator W23; gọi vốn hạt giống 4 triệu USD tháng 9/2023 do Lightspeed, La Famiglia và Y Combinator dẫn dắt. Gia nhập ClickHouse ngày 16/1/2026, vẫn giữ giấy phép MIT và dịch vụ đám mây. Văn phòng tại Berlin và San Francisco. Tuân thủ SOC 2 Type II, ISO 27001, GDPR và có vùng sẵn sàng cho HIPAA.