Estuary – nền tảng CDC, streaming và ETL theo thời gian thực

Estuary được Dave Yaffe và Johnny Graettinger thành lập năm 2019, phát triển từ Gazette, framework streaming từng xử lý hàng tỷ sự kiện quảng cáo mỗi ngày tại LiveRamp. Công ty có văn phòng tại New York và Columbus (Ohio), nhắm tới khoảng trống giữa ETL theo lô và nhu cầu dữ liệu thời gian thực cho phân tích, ứng dụng và AI agent.

Nền tảng Estuary kết hợp CDC dựa trên log, streaming và ETL theo lô trong một pipeline, với hơn 200 connector. Dữ liệu được thu vào các collection lưu trong bucket đám mây của chính khách hàng, biến đổi ngay trên đường truyền bằng SQL, Python hoặc TypeScript, rồi đẩy sang kho dữ liệu, data lake và hệ thống vận hành. Runtime viết lại cho backfill nhanh tới 8 lần và đạt tới 200 GB mỗi giờ trên mỗi worker. Người dùng được nêu tên gồm Glossier, Together AI và Resend.

• CDC dựa trên log: Thu thay đổi cơ sở dữ liệu từ log sao chép với độ trễ thấp.
• Hợp nhất streaming và lô: Pipeline thời gian thực và theo lịch dùng chung một nền tảng.
• Biến đổi trên đường truyền: Biến đổi bằng SQL, Python và TypeScript khi dữ liệu đang di chuyển.
• Lưu trữ do khách hàng sở hữu: Collection được lưu trong bucket đám mây của khách hàng.
• Triển khai linh hoạt: Triển khai công cộng, riêng hoặc BYOC trên AWS, GCP hoặc Azure.
• Agent skills: Hỗ trợ AI khi dựng pipeline và cung cấp dữ liệu cho AI agent.

Ngân hàng hoặc ví điện tử tại Việt Nam có thể stream thay đổi từ cơ sở dữ liệu lõi sang lakehouse để giám sát gian lận gần thời gian thực. Nhà bán lẻ có thể giữ tồn kho trong kho dữ liệu và hệ thống tìm kiếm đồng bộ giữa các kênh. Công ty SaaS có thể cấp dữ liệu sản phẩm mới cho AI agent và phân tích cùng lúc.

Một nền tảng thay cho các công cụ riêng lẻ cho CDC, streaming và nạp theo lô, giảm sự phân mảnh pipeline. Giá minh bạch: gói Developer miễn phí (10 GB mỗi tháng, hai connector) và trả theo dùng với 0,50 USD mỗi GB cộng 100 USD mỗi connector mỗi tháng. Doanh nghiệp có thể chọn triển khai riêng hoặc trên đám mây của mình để dữ liệu nằm trong mạng nội bộ, và có vùng đám mây công cộng tại châu Á - Thái Bình Dương.

Phân tích vận hành, cá nhân hoá và AI agent cần dữ liệu mới thay vì nạp theo lô mỗi đêm, thúc đẩy doanh nghiệp dùng CDC và streaming. Quy định lưu trữ dữ liệu tại Đông Nam Á cũng làm tăng nhu cầu pipeline chạy được ngay trong tài khoản đám mây của khách hàng.

Thành lập năm 2019; văn phòng tại New York và Columbus (Ohio), có nhân sự làm việc từ xa. FirstMark đầu tư 7 triệu USD năm 2021 và M13 dẫn dắt vòng Series A 17 triệu USD năm 2025. Sản phẩm SaaS ra mắt năm 2023. Gói Enterprise có báo cáo SOC 2 và HIPAA BAA.