码迷,mamicode.com
首页 > Web开发 > 详细

streamsets http client && json parse && local fs 使用

时间:2018-08-20 14:36:32      阅读:448      评论:0      收藏:0      [点我收藏+]

标签:1.0   mode   mit   width   2.0   build   raw   roc   script   

streamsets 包含了丰富的组件,origin processer destination

测试例子为集成了http client 以及json 处理

启动服务

使用docker

技术分享图片

  • 添加json parse
    技术分享图片
  • 配置json parse

    注意路径是/ 开头的,应该使用的是类似jsonpath 以及json patch 的方式,具体要看代码

技术分享图片

  • 添加local fs 组件

    输出到临时文件系统
    技术分享图片

  • 连接组件
    技术分享图片

运行

技术分享图片

技术分享图片
转换后的数据

{"name":"json-patch","version":"1.0.0","main":"index.js","license":"MIT","dependencies":{"generate-schema":"^2.6.0","json-merge-patch":"^0.2.3","json-templater":"^1.2.0","json8-patch":"^0.4.1","jsonpatch":"^3.0.1","jsonschema":"^1.2.4","uglify-js":"^3.4.5","uglifyify":"^5.0.1","uglifyjs":"^2.4.11"},"apps":"{\"users\":{\"name\":\"dalong\",\"age\":33}}","type":"dGhpcyBpcyBhIGV4YW1wbGU=","scripts":{"t":"node t","p":"node p","s":"node s","gs":"node gs","build":"browserify t.js | uglifyjs -c > bundle.js","live":"live-server","m":"node m"},"devDependencies":{"browserify":"^16.2.2","live-server":"^1.2.0"},"result":{"users":{"name":"dalong","age":33}}}

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Origins/Origins_overview.html#concept_hpr_twm_jq

streamsets http client && json parse && local fs 使用

标签:1.0   mode   mit   width   2.0   build   raw   roc   script   

原文地址:https://www.cnblogs.com/rongfengliang/p/9505133.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!