文本类型在kettle中作为数据源的时候,需要注意的几点,ktr的机构如下图1:txt文本的格式2:文本输入控件的设置--2.1:选择文件所在物理位置--2.2:设置分隔符,注意头部数量去掉,不然第一行可能会丢掉,当然也可以根据这里设置从第几行开始抽取--2.3:设置数据类型和字段名PS:需要特别注...
分类:
其他好文 时间:
2015-01-29 19:28:27
阅读次数:
167
最近由于工作业务需要,一直在研究pdi工具中解析xml、json等格式数据的方法,解析xml和json都较简单。
解析xml的时候,只需要选择相应的文件(不一定要是xml文件,txt的也行,只要是数据是xml格式就可以),然后选择循环读取路径,设置好标签对名称即可:
一:选择文件,如果xml数据是上一过程输入的,不用选择文件:
二:选择循环解析xml的节点,你所选择的节点应该是所以数...
分类:
Web程序 时间:
2015-01-27 18:40:24
阅读次数:
1850
创建数据仓库的过程中,往往会遇到这样的问题,例如:源表由于业务原因新增了字段,而ETL程序中是按照之前的源表结构进行抽取的,那么如果不重新构建ETL程序,新的指标就不会流入DW,问题如下图所示创建了一个简单的输入输出如下图所示,源表中有一个column3字段没有被匹配到下面我们可以打开sql编辑器,...
分类:
其他好文 时间:
2015-01-13 10:19:26
阅读次数:
372
最近因为项目需要接触了kettle,需要为用户定制一些特定的转换。
下面记录一下自己的学习经历。
下载的kettle版本文件稳定版,从github上面下载 github不熟的朋友可以参考文章 如何更好的理解和使用Github
fork一个版本 然后clone in desktop
地址为 https://github.com/bigfishman/...
分类:
其他好文 时间:
2015-01-08 20:12:02
阅读次数:
322
原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明以下出处,否则追究版权法律责任。
深蓝的blog:
kettle内存溢出错误解决
环境:
源端数据库:oracle 10G R2
目标端数据库:oracle 11G R2
kettle版本:5.0.1-stable
报错:
抽取大数据量表时,报错,日志信息如下:
2015/01/05 11:27:42 -...
分类:
其他好文 时间:
2015-01-06 09:59:13
阅读次数:
252
kettle execl 表输入。 拖入execl表输入空间,配置如下! 注意点:如果execl配置没问题的话点击显示文件名称,文件应该能正式显示出来,选中的文件那个表格必须有数据 [在此输入图片描述][1] ![在此输入图片描述]...
分类:
其他好文 时间:
2015-01-05 15:08:51
阅读次数:
223
1.1. 相关类和接口
1.1.1. JobEntryTrans
实现了JobEntryInterface的execute()方法,被job执行。由JobEntryTrans实例化Trans,并执行。
1.1.2. TransGraph
当点击trans面板的run时,由TransGraph实例化Trans,并执行。
Trans主要成员有:
private TransMeta tran...
分类:
其他好文 时间:
2014-12-23 12:33:50
阅读次数:
325
本系列文章主要索引如下:一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】本文主要阅读目录如下:1、Kettle概念2、下载和部署...
分类:
其他好文 时间:
2014-12-23 12:19:52
阅读次数:
199
详细介绍了java传递的参数,kettle中如何使用。
java调用kettle向job(任务)和transformation(转换)传递参数实例...
分类:
编程语言 时间:
2014-12-19 14:36:09
阅读次数:
1180