OLake – công cụ mã nguồn mở nạp dữ liệu và CDC vào Apache Iceberg

OLake là công cụ trích xuất và nạp dữ liệu mã nguồn mở, ưu tiên Apache Iceberg, do Datazip, Inc. phát triển, với CEO Rohan Khameshra và CTO Shubham Satish Baldava. Sản phẩm giải quyết chi phí và độ phức tạp khi đưa dữ liệu từ cơ sở dữ liệu vận hành vào lakehouse mở mà không cần dựng Spark, Kafka hay Debezium nặng nề.

OLake Go sao chép PostgreSQL, MySQL, MongoDB, Oracle, SQL Server, IBM Db2, Kafka và S3 vào Apache Iceberg hoặc Parquet trên S3, hỗ trợ nạp toàn bộ và CDC. Công cụ làm việc với các catalog như AWS Glue, Hive, REST, Nessie, Unity, Polaris, S3 Tables và BigLake. OLake Fusion bảo trì bảng Iceberg bằng nén phân tầng các tệp nhỏ và tệp xoá. Phần mềm tự host nên người dùng chỉ trả chi phí hạ tầng; logo trên trang gồm Booking.com, Qualcomm, Razorpay, Physics Wallah và Lenskart.

• CDC từ cơ sở dữ liệu vào Iceberg: Nạp toàn bộ và thu thay đổi từ các cơ sở dữ liệu quan hệ và NoSQL phổ biến.
• Nguồn luồng và tệp: Nạp dữ liệu từ Kafka và S3 bên cạnh cơ sở dữ liệu.
• Hỗ trợ nhiều catalog: Ghi vào Glue, Hive, REST, Nessie, Unity, Polaris, S3 Tables và BigLake.
• Xoá theo Iceberg v3: Ghi deletion vector cho upsert và CDC, tương thích nhiều engine truy vấn.
• Bảo trì bằng OLake Fusion: Nén phân tầng và chỉ số sức khoẻ cho bảng Iceberg.
• Mã nguồn mở tự host: Chạy trên hạ tầng của khách hàng, có hỗ trợ doanh nghiệp theo yêu cầu.

Công ty thương mại điện tử hoặc fintech Việt Nam có thể sao chép MySQL và PostgreSQL vào lakehouse Iceberg trên S3 và truy vấn bằng Trino. Nhà sản xuất dùng IBM Db2 hoặc SQL Server có thể chuyển dữ liệu lịch sử sang Iceberg để phân tích. Đội dữ liệu có thể giảm chi phí Spark nhờ dùng OLake Fusion để nén bảng.

Doanh nghiệp tránh được phí connector tính theo dòng vì OLake là mã nguồn mở và chạy trên hạ tầng của chính mình. Benchmark của nhà cung cấp cho thấy nạp toàn bộ 4,01 tỷ dòng từ PostgreSQL vào Iceberg trong 1,91 giờ với chi phí dưới 6 USD. OLake Fusion nén 1,8 tỷ dòng trong 27 phút, nhanh hơn 2,06 lần và rẻ hơn khoảng 52% mỗi tác vụ so với nén bằng Spark. Bảng Iceberg mở có thể truy vấn bằng Spark, Trino, Snowflake, Databricks, Athena hoặc DuckDB.

Apache Iceberg đang trở thành định dạng bảng mở được ưa chuộng cho lakehouse, giúp doanh nghiệp tránh phụ thuộc vào một kho dữ liệu và tách lưu trữ khỏi tính toán. Các đội dữ liệu nhạy cảm về chi phí ở Nam Á và Đông Nam Á đang dùng công cụ nạp dữ liệu mã nguồn mở để cấp dữ liệu cho lakehouse trên AWS và Google Cloud.

OLake do Datazip, Inc. phát triển; điều khoản sử dụng (cập nhật 5/2/2026) ghi địa chỉ đại diện tại Delaware và áp dụng luật Ấn Độ. Tên miền cũ datazip.io hiện chuyển hướng về olake.io. Mã nguồn công bố trên GitHub dưới tổ chức datazip-inc. Case study đã công bố gồm Xeno, Cordial và Bitespeed.