turbopuffer – Tìm kiếm vector và toàn văn serverless trên object storage

turbopuffer Inc. được Simon Hørup Eskildsen và Justine Li thành lập năm 2023; hai người từng làm việc cùng nhau tám năm về hạ tầng tại Shopify. Công ty tự mô tả là doanh nghiệp Canada làm việc từ xa, có văn phòng tại Ottawa, Montreal, New York, San Francisco và Paris, được Lachy Groom và Thrive đầu tư.

turbopuffer là cơ sở dữ liệu tìm kiếm xây trên object storage như S3, phía trước có bộ đệm bộ nhớ và SSD, nhờ đó lưu dữ liệu lớn với chi phí thấp mà vẫn phục vụ nhanh dữ liệu nóng. Hệ thống cung cấp tìm kiếm vector, tìm kiếm toàn văn BM25, tìm kiếm lai và lọc metadata, với số namespace không giới hạn cho ứng dụng đa người thuê. Trong vận hành thực tế, nền tảng lưu hơn một nghìn tỷ tài liệu, xử lý hơn 10 triệu lượt ghi mỗi giây và trên 100.000 truy vấn mỗi giây cho các khách hàng như Anthropic, Notion, Atlassian, Linear và Cognition.

• Tìm kiếm vector: tìm láng giềng gần đúng với lọc gốc để đạt recall cao.
• Tìm kiếm toàn văn: engine BM25 (FTS v2) nhanh hơn tới 20 lần so với phiên bản trước.
• Tìm kiếm lai: kết hợp vector, toàn văn và thuộc tính số để tăng độ liên quan ở bước đầu.
• Namespace không giới hạn: tách riêng dữ liệu từng tenant hoặc người dùng, đã ghi nhận hơn 250 triệu namespace.
• Phân tầng object storage: dữ liệu trên S3 với bộ đệm bộ nhớ và SSD cho namespace nóng.
• Embedding tích hợp: đưa bước embedding vào trong turbopuffer để giảm độ trễ tìm kiếm tổng thể.

• Sản phẩm SaaS Việt Nam bổ sung tìm kiếm ngữ nghĩa và từ khoá riêng cho từng khách hàng.
• Công ty luật, ngân hàng, bảo hiểm xây RAG trên kho tài liệu rất lớn.
• Doanh nghiệp công cụ lập trình cung cấp tìm kiếm mã nguồn trên nhiều kho mã.

• Kiến trúc dựa trên object storage, theo nhà cung cấp rẻ hơn khoảng 10 lần so với các giải pháp khác.
• Tìm kiếm vector p50 14 ms trên benchmark 10 triệu tài liệu, recall@10 đạt 90–100%.
• ANN v3 đạt độ trễ p99 200 ms trên 100 tỷ vector.
• Tính phí theo dung lượng lưu trữ, lượt ghi và truy vấn, đã bao gồm namespace.

Công cụ lập trình AI, ứng dụng năng suất và copilot doanh nghiệp lập chỉ mục tài liệu của từng người dùng, đòi hỏi tìm kiếm đa người thuê giá rẻ ở quy mô rất lớn. Các startup SaaS và AI tại Việt Nam, Đông Nam Á phục vụ nhiều khách hàng cũng cần giữ chi phí tìm kiếm trên mỗi tenant ở mức thấp.

turbopuffer Inc., thành lập năm 2023, là công ty Canada làm việc từ xa với văn phòng tại Ottawa, Montreal, New York, San Francisco và Paris. Đồng sáng lập Simon Hørup Eskildsen (CEO) và Justine Li. Được Lachy Groom và Thrive đầu tư.