job中执行每行

标签：etl kettle 权威   循环   

job中执行每行

 有时，我们需要job或转换执行多次，且每次传入的参数都不同。假如你正在做数据迁移的工作，需要导入每天的旧数据，则需要一个job根据指定的日期导入数据，该日期被指定作为参数，如果我们需要导入从一个起始日期到昨天所有的旧数据，手工运行job是痛苦的也是错误的做法，kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
 在主job中，首先运行返回日期转换（每个日期作为一行），实际导入数据的job放在转换的后面执行，并且根据转换的结果执行每一行，job可以被设置从一个结果字段中获取参数。
 

生成日期
 这个转换负责生成只有一个日期字段的数据行，“set start date ”步骤生成10000行数据流（根据实际情况估算行数，测试时可以设置小点），包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中，为了在“calc date”步骤可以计算连续的日期；其后的步骤去除掉其他的辅助字段，然后增加昨天的日期到数据流中；接着是一个比较功能的步骤，判断每行的中日期是否早于今天，如果进入“discard”步骤，否则进入“copy rows to result”步骤。

 
主job
 主job中执行生成日期转换之后，是子job，负责执行每个输入日期，该job必须要明确设置去执行每个输入行，即设置“execute for every input row”复选框选中。同时需要传入一个计算日期，通过“date”参数，所以“copy previous results to parameters？”也需要选中。最后参数必须从输入行中映射，参数名和输入字段都命名为“date”。
 
 

子job
 子job接收每行的“date”日期参数并运行，示例中简单使用date参数记录日志然后完成。
 

下载
 这里下载本示例，主job运行子job，针对从2010-01-01到昨天的所有行。需要指出的是，本示例的技术并不适合所有的场合，特别“循环直到条件为真”（不确定次数），这时可能用到这篇文章的方法去实现循环。

job中执行每行

标签：etl kettle 权威   循环   

原文地址：http://blog.csdn.net/neweastsun/article/details/39047471