pipelinewise 基于singer 指南的的数据pipeline 工具

标签：git   简化   说明   字段   数据   行数据   开源   line   tin   

pipelinewise 是基于开源singer 指南开发的数据pipeline工具，与singer tap 以及target 兼容

支持的特性

• 内置的elt 特性
• 轻量级
• 支持多种复制方法，cdc（基于log 的）基于key 的增量模式，全量
• 管理schema的变动
• 加载时的数据转换（可以方便进行数据脱敏,数据字段处理）
• 基于yaml的配置管理
• 可以集成外部工具
• 可扩展

说明

pipelinewise 基于singer 但是超越singer，简化了我们基于singer 开发的处理

参考资料

https://transferwise.github.io/pipelinewise/ 
https://github.com/transferwise/pipelinewise 
https://github.com/singer-io/singer-python 
https://github.com/singer-io/getting-started

pipelinewise 基于singer 指南的的数据pipeline 工具

标签：git   简化   说明   字段   数据   行数据   开源   line   tin   

原文地址：https://www.cnblogs.com/rongfengliang/p/11531498.html