今天介绍下kettle的一个比较实用的组件——生成记录;当我们想将一部分文本数据变成数据行,每个字段作为一个数据行的一个列,那么我们可以利用这个组件;它的位置在双击点开根据自己的实际需要进行设置当设置后,可以点击预览,上面的【限制】选项就是行的数量;其中有三个选项是必填项——名称,类型,值
分类:
其他好文 时间:
2018-09-04 20:17:56
阅读次数:
455
继续给大家介绍几个小组件:一、字符串替换这个功能类似于oracle的replace函数,就是将某个字段的某些字符替换成我们给定的字符首先,选择【输入流字段】,【输出流字段】自己命名(就是用来保存处理后的结果的字段,可以和输入流字段保持一致),可以选择【使用正则表达式】,【搜索】就是你希望被替换的字符、字符串,可以是一个正则表达式,【使用,,,替换】就是你期望用什么值替换被替换的部分,【设置为空串】
分类:
其他好文 时间:
2018-09-03 17:18:31
阅读次数:
2738
接下来几天给大家介绍下几个常用的kettle组件1.剪切字符串所谓的剪切字符串,就类似于Oracle的substr函数,具体位置在某个转换的核心对象-转换中,如图使用方法为--双击打开组件,选择你要裁剪的流字段(必须),输出字段(选填),输入初始和结束位置,这样就好了;2.增加常量所谓的增加常量就是增加x个字段,而这每个字段的值都是常量(这里的x是个大于等于0的自然数),具体位置在某个转换的核心对
分类:
其他好文 时间:
2018-09-03 11:14:09
阅读次数:
1106
ETL工具kettle,在老版设计后,使用新版时,居然发生了内存溢出的错误: 出现: java heap 或者 OutOfMemory等字样 这是kettle分配的内存不足。 在kettle的运行路径中,用文本编辑器打开Spoon.bat,找到: REM ********************** ...
分类:
其他好文 时间:
2018-09-01 17:37:01
阅读次数:
168
性能调优在整个工程中是非常重要的,也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面:一方面是硬件调优,一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。 一、Kettle调优 1、 调整JVM大小进行性能优化,修改Kettle定时任务中的Ki ...
分类:
其他好文 时间:
2018-09-01 17:33:04
阅读次数:
235
作者:Grey 原文地址: http://www.cnblogs.com/greyzeng/p/5524614.html 需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思 ...
分类:
其他好文 时间:
2018-09-01 17:29:37
阅读次数:
695
这里所说的值映射就有点类似oracle的caswhen功能,比如有个字段a的值为1,但是我现在想让a=1的时候变成a男,也就是1映射成男,这就是所说的值映射,那么怎么操作呢,实际上kettle有一个“值映射”组件;接下来就简单介绍下怎么使用;首先在程序左边的搜索框中输入值映射,找到值映射组件,然后拖到所需要的位置,然后双击点开,首先你可以设置一个步骤名称,不想设默认也行,接下来选择使用的字段名,这
分类:
数据库 时间:
2018-08-31 15:46:05
阅读次数:
258
一般有几项1.杂项,这个是设置的前一个步骤到下个步骤的缓存,默认是10000操作为,进入转换,右键点击空白处或者双击空白处,单击的话进入设置,会出现如图选择杂项,主要设置‘记录集合里的记录数’,可以适当的加大,也不要太大,会对内存造成很大的压力;2.设置多线程这种情况需要注意一个地方在下面的步骤度量的最右边有一个Pri/in/out栏,会显示类似这样的结果:a/b,a和b是两个数字,如果a>
分类:
其他好文 时间:
2018-08-27 22:33:28
阅读次数:
331
kettle做定时任务平时任务中经常需要用两种方法;一、kettle自带的功能。具体操作如下:首先形成一个job,然后点击开始组件;结果如图:当需要定时时,那么就是需要重复;此时勾选重复选项,然后点击类型下拉选选择你需要定时的类型,如时间间隔,天,周,月;如果选择时间间隔,意味着你每隔多长时间执行一次,单位是分秒,自行选择。如图当选择了天,那么就是意味着在每天的几点执行,如图当选择了周,就意味这是
分类:
其他好文 时间:
2018-08-27 22:31:52
阅读次数:
882
大家在实际操作过程中可能会出现一个这样的情况,当你将一个组件与另一个组件进行连接时,会出现一个告知框,如图这时候会让你选择分发或者复制,这时候很多朋友会疑惑,这俩有啥区别呢;当你的目标组件是单线程时,选谁没区别,什么叫目标组件和单线程呢,我这样解释如图:当你从表输出到更新时,更新就是目标组件,这时更新的组件左上方没有出现数字时就是单线程,当出现数字时就是多线程,如图咱们继续复制和分发,怎么区分是复
分类:
其他好文 时间:
2018-08-27 22:31:16
阅读次数:
4455