创建数据仓库的过程中,往往会遇到这样的问题,例如:源表由于业务原因新增了字段,而ETL程序中是按照之前的源表结构进行抽取的,那么如果不重新构建ETL程序,新的指标就不会流入DW,问题如下图所示创建了一个简单的输入输出如下图所示,源表中有一个column3字段没有被匹配到下面我们可以打开sql编辑器,...
分类:
其他好文 时间:
2015-01-13 10:19:26
阅读次数:
372
最近因为项目需要接触了kettle,需要为用户定制一些特定的转换。
下面记录一下自己的学习经历。
下载的kettle版本文件稳定版,从github上面下载 github不熟的朋友可以参考文章 如何更好的理解和使用Github
fork一个版本 然后clone in desktop
地址为 https://github.com/bigfishman/...
分类:
其他好文 时间:
2015-01-08 20:12:02
阅读次数:
322
原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明以下出处,否则追究版权法律责任。
深蓝的blog:
kettle内存溢出错误解决
环境:
源端数据库:oracle 10G R2
目标端数据库:oracle 11G R2
kettle版本:5.0.1-stable
报错:
抽取大数据量表时,报错,日志信息如下:
2015/01/05 11:27:42 -...
分类:
其他好文 时间:
2015-01-06 09:59:13
阅读次数:
252
kettle execl 表输入。 拖入execl表输入空间,配置如下! 注意点:如果execl配置没问题的话点击显示文件名称,文件应该能正式显示出来,选中的文件那个表格必须有数据 [在此输入图片描述][1] ![在此输入图片描述]...
分类:
其他好文 时间:
2015-01-05 15:08:51
阅读次数:
223
1.1. 相关类和接口
1.1.1. JobEntryTrans
实现了JobEntryInterface的execute()方法,被job执行。由JobEntryTrans实例化Trans,并执行。
1.1.2. TransGraph
当点击trans面板的run时,由TransGraph实例化Trans,并执行。
Trans主要成员有:
private TransMeta tran...
分类:
其他好文 时间:
2014-12-23 12:33:50
阅读次数:
325
本系列文章主要索引如下:一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】本文主要阅读目录如下:1、Kettle概念2、下载和部署...
分类:
其他好文 时间:
2014-12-23 12:19:52
阅读次数:
199
详细介绍了java传递的参数,kettle中如何使用。
java调用kettle向job(任务)和transformation(转换)传递参数实例...
分类:
编程语言 时间:
2014-12-19 14:36:09
阅读次数:
1180
最近项目需要,开始接触kettle。
Kettle 的主作者是 Matt ,他在 2003 年就开始了这个项目,在 PDI 的代码里就可以看到最早的日期大概在2003年4月。 从版本2.2开始, Kettle 项目进入了开源领域,并遵守 LGPL 协议。
在 2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI, 加入Pentaho 后Kettle 的发展越来...
分类:
其他好文 时间:
2014-12-19 12:18:26
阅读次数:
203
kettle-engine.jar与 log4j.jar包冲突问题解决办法...
分类:
编程语言 时间:
2014-12-18 18:55:15
阅读次数:
188