1、数据集,某宝数据。 下载数据后,利用kettle将文本文件导入mysql数据库。数据time从 2014-11-18 00到2014-12-18 23。包含如下字段: item_id(产品ID),behavior_type(包含点击、收藏、加购物车、购买四种行为,分别用数字1、2、3、4表示), ...
分类:
其他好文 时间:
2019-11-19 01:18:17
阅读次数:
65
主花了一下午时间,收集全网,学习了下kittle,觉得该大v写的不错,特意整理给大家!学会这几个案例kittle基本就没问题了。 1.kettle案例一抽取gz格式文本内容保存到mongodb https://blog.csdn.net/zzq900503/article/details/78658 ...
分类:
其他好文 时间:
2019-11-06 13:04:40
阅读次数:
117
http://www.kettle.net.cn/ https://www.cnblogs.com/mq0036/p/9238646.html 。。。。 直接到百度下搜索kettle即可 ...
分类:
其他好文 时间:
2019-10-24 13:25:18
阅读次数:
62
前言 Kettle 除了常规的数据处理之外,还可以模拟发送HTTP client/post ,REST client。 实验背景 这周二老师布置了一项实验: 建立一个转换,实现一个猫眼API热映电影的json,生成为xls文件。 猫眼的热门电影接口为: "?http://m.maoyan.com/ ...
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类:
数据库 时间:
2019-10-15 09:24:39
阅读次数:
112
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类:
数据库 时间:
2019-10-15 09:20:22
阅读次数:
115
动态数据连接,使JOB得以复用 移动执法系统在目前的主要的部署策略为1+N的方式,即总队部署一套,地市各部署一套,且基本都在环保专网。各地市的业务数据需要推送到总队系统,以便总队系统做整体的监督、决策。在整个数据对接过程中,基于Kettle开发的各地市对接省厅的ETL程序,除了数据链接信息不同之外, ...
分类:
其他好文 时间:
2019-09-28 00:54:03
阅读次数:
113
金融数据的来源:万得资讯、财汇、聚源,利用kettle工具和kettle脚本,将有用的数据传输到我们自己使用的数据库中。 如何测试kettle脚本。 一、背景业务知识 1、证券交易信息:投资者买卖证券的申报记录进入证券交易系统后汇总,并按照一定规则进行排序,形成申报数据库。投资者申报的内容经证券交易 ...
分类:
其他好文 时间:
2019-09-23 18:08:36
阅读次数:
310
使用kettle进行数据清洗: 1.新建转换去除手机销售信息表的重复记录 要求:去除该字段中的所有空格,方便后续聚合统计,字母统一大小写,去除该字段中的所有特殊字符(各种标点符号) 这里可选用排序加去重组件,也可用哈希去重。然后用字符串操作去括号,大小写统一。字符串替换的正则表达式去除特殊字符。 2 ...
分类:
其他好文 时间:
2019-09-08 09:36:01
阅读次数:
224
1. kettle安装地址 官网地址: https://community.hitachivantara.com/s/article/data-integration-kettle 下载地址: https://sourceforge.net/projects/pentaho/files/ 2. 安装 ...
分类:
其他好文 时间:
2019-09-01 22:10:25
阅读次数:
172