Superlinked Inference Engine (SIE) – Suy luận mô hình mở cho tìm kiếm và RAG

Superlinked xây dựng SIE, Superlinked Inference Engine, phục vụ các mô hình mở nhỏ cho tác vụ AI thường ngày. Theo chính sách bảo mật, pháp nhân kiểm soát dữ liệu là Superlinked, Inc. tại San Francisco; trang web không nêu năm thành lập. Sản phẩm hướng tới tìm kiếm, RAG và quy trình tài liệu không cần mô hình tiên phong, và tích hợp với các cơ sở dữ liệu vector như Chroma, LanceDB, Qdrant và Weaviate.

SIE là mã nguồn mở theo Apache 2.0 và chạy theo ba cách: SIE Serverless (API trả tiền theo lượt gọi), SIE Local (máy chủ mã nguồn mở cho laptop hoặc VM GPU) và Native Inference (cụm trong đám mây của khách hàng cùng kỹ sư Superlinked). Trang web liệt kê 142 mô hình gồm tìm kiếm ngữ nghĩa, xếp hạng lại, tìm kiếm lai, ColBERT, PDF sang Markdown, OCR, ẩn thông tin cá nhân và chuyển giọng nói thành văn bản.

• Mô hình tìm kiếm và RAG: tìm kiếm ngữ nghĩa, xếp hạng lại, tìm kiếm lai, ColBERT và tìm kiếm hình ảnh.
• Xử lý tài liệu: PDF sang Markdown, trích xuất trường và OCR.
• An toàn: guardrail và ẩn thông tin cá nhân.
• SIE Serverless: API lưu trữ sẵn trả theo lượt gọi, tặng 20 USD tín dụng ra mắt cho tài khoản mới.
• SIE Local: máy chủ Apache-2.0 cho laptop hoặc VM GPU.
• Native Inference: SIE Cluster trong đám mây riêng của khách hàng.

• Doanh nghiệp Việt Nam bổ sung tìm kiếm ngữ nghĩa và xếp hạng lại trên tài liệu nội bộ.
• Ngân hàng hoặc bảo hiểm trích xuất trường từ biểu mẫu quét và ẩn thông tin cá nhân.
• Nền tảng thương mại điện tử chạy tìm kiếm hình ảnh và tìm kiếm lai sản phẩm qua một API suy luận.

• Giá Serverless theo mức sử dụng nên nhóm nhỏ không phải quản lý GPU.
• Máy chủ mã nguồn mở Apache 2.0 cho phép dùng ngoại tuyến hoặc tự triển khai.
• Một API cho embedding, xếp hạng lại, OCR và trích xuất giúp giảm số dịch vụ.
• SOC 2 Type 2 và lựa chọn lưu dữ liệu tại Mỹ hoặc EU trên Serverless hỗ trợ rà soát tuân thủ.

Các nhóm đang thay mô hình tổng quát lớn bằng mô hình mở nhỏ theo tác vụ để giảm chi phí và độ trễ trong quy trình tìm kiếm và tài liệu, đồng thời muốn suy luận chạy được trong đám mây riêng. Doanh nghiệp Việt Nam xử lý tài liệu tiếng Việt và dữ liệu khách hàng có thể ưu tiên suy luận tự triển khai hoặc theo khu vực để kiểm soát chi phí và dữ liệu.

Superlinked, Inc., San Francisco (theo chính sách bảo mật); không nêu năm thành lập. Có SOC 2 Type 2. Thành phần mã nguồn mở theo Apache 2.0. Đối tác tích hợp gồm Chroma, LanceDB, Qdrant và Weaviate.