dlt & dltHub – thư viện Python và nền tảng pipeline dữ liệu

dltHub là công ty đứng sau dlt, thư viện Python mã nguồn mở theo giấy phép Apache 2.0 để xây pipeline dữ liệu bằng code và AI coding agent. Pháp nhân là ScaleVector GmbH tại Berlin, có pháp nhân tại Mỹ và các điểm làm việc ở San Francisco, Montreal và Amsterdam. Sản phẩm hướng tới kỹ sư muốn nạp dữ liệu dưới dạng code thay vì phụ thuộc danh mục connector đóng.

Với dlt, mỗi pipeline là một script Python trích xuất từ API, cơ sở dữ liệu hoặc tệp, tự suy luận và cập nhật schema, chuẩn hoá dữ liệu lồng nhau rồi nạp tăng dần vào kho dữ liệu và data lake. Trang công bố hơn 6 triệu lượt tải PyPI mỗi tháng và hơn 16.000 công ty dùng dlt trong môi trường production. Nền tảng dltHub được quản lý bổ sung runtime, khả năng quan sát, kiểm tra chất lượng dữ liệu, workspace cho nhóm và agent nền giám sát tác vụ. Các case study gồm PostHog, Harness, Artsy và Flatiron Health.

• Pipeline thuần Python: Pipeline là code Python thông thường, chạy ở bất cứ đâu có Python.
• Suy luận và tiến hoá schema: Schema được tự suy luận, chuẩn hoá và cập nhật.
• Nạp tăng dần: Hỗ trợ sẵn nạp tăng dần và merge vào kho dữ liệu và data lake.
• Phát triển cùng agent: Ngữ cảnh cho hơn 10.100 nguồn giúp AI agent dựng connector.
• Runtime được quản lý: dltHub triển khai, lập lịch và giám sát pipeline kèm kiểm tra chất lượng dữ liệu.
• Agent nền: Các agent ở bản public preview kiểm tra tác vụ và giữ pipeline ổn định.

Startup công nghệ Việt Nam có thể nạp dữ liệu từ API thanh toán, thương mại điện tử và marketing trong nước vào BigQuery bằng script Python do AI agent sinh ra. Đội dữ liệu ngân hàng có thể thay các script nạp dữ liệu viết tay bằng pipeline dlt có quản lý phiên bản. Agency phân tích có thể chạy pipeline của nhiều khách hàng trên runtime dltHub được quản lý.

Thư viện mã nguồn mở được dùng miễn phí cho mục đích thương mại, nên doanh nghiệp bắt đầu mà không tốn phí bản quyền và tránh cách tính giá theo số dòng của connector. Pipeline nằm trong code và hệ thống quản lý phiên bản, còn AI agent có thể sinh connector cho hơn 10.100 nguồn có tài liệu. Nhà cung cấp cho biết việc chuyển đổi từ nhà cung cấp cũ nhanh hơn 90%. Nền tảng được quản lý bổ sung giám sát và agent cho đội không muốn tự vận hành hạ tầng.

Các đội dữ liệu đang chuyển từ dịch vụ connector đóng, tính giá theo khối lượng sang nạp dữ liệu bằng code mà trợ lý AI có thể viết và bảo trì. Các công ty thiên về kỹ thuật tại Đông Nam Á, nơi ngân sách cho ETL tính giá theo dòng còn hạn chế, là nhóm phù hợp để dùng công cụ pipeline mã nguồn mở.

Pháp nhân ScaleVector GmbH, Rosenthaler Str. 36, Berlin (HRB 241116 B), cùng dltHub Inc. tại Mỹ. Đồng sáng lập gồm Matthaus Krzykowski, Marcin Rudolf, Anna Hoffmann và Adrian Brudaru. Được Bessemer Venture Partners (dẫn dắt vòng 8 triệu USD), Foundation Capital và Dig Ventures hậu thuẫn.