Kettle命令行使用说明1.Pan——转换执行器用来执行转换。参数与Kitchen类似，如下。1- -version显示版本信息2- -file=filename运行xml文件3- -param:key=value指定命名参数4- -log=logging filename 设置日志文件5- -l...
分类：
其他好文 时间：
2014-06-17 14:56:18
阅读次数：
194
最近学习大数据的处理，由于项目开发的需要，使用一种简单的方式来将Excel中的数据导入到数据库中，开发使用的kettle工具。 kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量,path,classpath）。 在WINDOWS环境下双击...
分类：
数据库 时间：
2014-06-15 22:10:06
阅读次数：
412
下载源码请参考上一篇博文Kettle4.4.2源码分析Kettle
5.0以前的库文件通过ant管理，5.0+的库文件通过ant+ivy管理。Eclipse一般都是安装ant插件，不安装ivy插件，在编译之前先在eclipse安装ivyde插件。安装ivyde插件启动Eclipse，Help
-> ...
分类：
其他好文 时间：
2014-06-10 21:57:54
阅读次数：
902
组件如下：对计算类型的说明如下：The table below contains
descriptions associated with the calculator step:FunctionDescriptionRequired
fieldsSet field to constant ACre...
分类：
其他好文 时间：
2014-05-28 04:19:05
阅读次数：
1256
组件：值映射如下如所示：首先，给出官方给出的文档：个人理解：Target field
name：可以理解为将source column的字段复制为另一个target column的名字。Default upon
non-matching：就是将target column的所有值（除去null），都替...
分类：
其他好文 时间：
2014-05-27 16:28:38
阅读次数：
767
最近在整理之前的同步的kettle代码，现把之前的kettle同步的思路记录在此。
1.同步流程图，下图是同步的整个流程图
2.外部的数据表，根据业务逻辑更新到服务器端的业务表，下图是其中的一个示例图：
这个的思路是：获取最新需同步的数据、分别查出药品分类ID、药品分类与分类关联ID以及药品ID（不存在，则生成新的UUID）、查询数据库中药品分类ID的记录数是否存在（即是否不...
分类：
其他好文 时间：
2014-05-15 09:02:58
阅读次数：
415
数据库同步的方式有设置标志位同步方式、以时间戳同步的方式，对于一对一的同步这两种方式都满足，但是对于一对多的同步，则只能选择时间戳的同步方式了，但是已时间戳同步的方式的一个问题是如何可靠的保证数据可以不丢失的同步到数据库中。下面有两种方式来保证以时间戳同步的可靠性。
1、计算服务器与客户端两台电脑的时间差，将该时间差记入在同步时间的比对当中，下图是使用kettle做的一个计算同步的时间差的思路：...
分类：
其他好文 时间：
2014-05-15 08:02:56
阅读次数：
460
今天在设置kettle的界面时，想看看中文是什么样子的，于是就把如图的地方都改成了中文重启后，kettle启不来了一直报错java.lang.ArrayIndexOutOfBoundsException:5
atorg.pentaho.di.ui.spoon.dialog.TipsDialog.getTip(TipsDialog.java:191)
atorg.pentaho.di.ui.spoon.dialog..
分类：
其他好文 时间：
2014-05-13 01:53:37
阅读次数：
625
关于如何用kettle创建job以及如何部署kettle到linux上，我就不细说了，大家应该都会，下面重点说一下，如何让job执行起来先将创建好的脚本上传到kettle指定目录下面，创建调用job执行的脚本文件，exportJAVA_HOME=/usr/java/jre1.6.0_23
exportPATH=$JAVA_HOME/bin:$PATH
expor..
分类：
系统相关 时间：
2014-05-09 21:25:51
阅读次数：
521
版本：cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式，一种是直接导入，一种是转换为HFile，然后再次导入。1. HDFS数据为（部分）：[root@node33 data]# hadoop fs -ls /inp...
分类：
其他好文 时间：
2014-05-09 00:25:48
阅读次数：
515
