实现了JobEntryInterface的execute()方法,被job执行。由JobEntryTrans实例化Trans,并执行。
当点击trans面板的run时,由TransGraph实例化Trans,并执行。
Trans主要成员有:
private TransMeta transMeta;
private Repository repository;
private Job parentJob;
private Trans parentTrans;
private List<RowSet> rowsets;
private List<StepMetaDataCombi> steps
其中最重要的是rowsets、steps。rowsets保存了所有hop对应的行元数据和数据信息。List<StepMetaDataCombi> steps封装了一个step的主要内容。
描述了整个Trans的元数据信息。 主要的属性成员有:
private List<StepMeta> steps;
private List<TransHopMeta> hops;
private String name;
private Result previousResult;上一个jobentry的执行结果。
private List<RowMetaAndData> resultRows;这次trans执行后的数据结果。
private List<ResultFile> resultFiles;
resultRows成员将作为result比部分返回多行的元数据和数据(如果有的话)需要返回数据结果时。把resultRows加入Result结果的rows列表,并返回。
提取了一个step所需的主要信息。
public class StepMetaDataCombi
{
public StepMeta stepMeta;
public String stepname;
public int copy;
public StepInterface step;
public StepMetaInterface meta;
public StepDataInterface data;
}
描述hop信息。
描述step的公有基本信息(stepid,stepname),对于每一个具体的step,由成员变量StepMetaInterface step来描述。
主要成员函数:
processRow()对一行的数据处理。
putRow()把处理后的数据放入下一个step的inputrowsets中。
实现了StepInterface是各step具体实现类的基类。完成了公用的处理函数,如putRow(),但是对于更具体的processRow()在StepBase的子类中。StepBase的主要成员有
public ArrayList<RowSet> inputRowSets,outputRowSets;
StepBase的子类每次从inputRowSets中取出一行数据,向outputRowSets中写入一行数据。
与step相关的数据信息。比如行的元数据信息。StepMetaInterface的实现类是与具体step相关的元数据信息,与StepMeta配合使用,共同描述具体step的元数据信息。
RowSet类中包含源step,目标step和由源向目标发送的一个rowMeta和一组data。其中data数据是以行为单位的队列(queArray)。一个RowSet作为此源step的outputrowsets的一部分。同时作为目标step的inputRowsets一部分。源Step每次向队列中写一行数据,目标step每次从队列中读取一行数据。
public class RowMetaAndData implements Cloneable{
private RowMetaInterface rowMeta;//行的元数据,描述了每行的数据名字,数据类型。
private Object[] data;//数据
}
Trans的执行机制是搭建一个结构,使得每一个step能够从自己的inputRowsets读,处理一行,将结果输出到自己的outputRowsets中。
注意:一个rowset对象既属于前一个step成员outputRowsets的一部分,也属于后一个对象的inputRowsets的一部分。所有的rowset信息都在Trans对象中以List形式维护。
由于trans可以有TransGraph实例化,也可以由JobEntryTrans实例化。但基本过程是一样的,先实例化TransMeta,再实例化Trans,最终调用trans的start方法。
由TransGraph实例化如下图所示:
由JobEntryTrans实例化,如下图所示:
首先获取元数据,然后以此作为参数实例化trans
TransMeta transMeta = getTransMeta(rep);
……
Trans trans = new Trans(transMeta);
……
trans.execute(args);
具体执行前需要进行准备工作
public void execute(String[] arguments) throws KettleException{
prepareExecution(arguments);
startThreads();
}
搭建以下结构结构。
(1)、对每一个step根据hop信息进行找到下一个step或多个step。
(2)、对于每一个this step和nex tstep生成一个RowSet对象,作为缓存供this step写,同时供next step读取数据。
(3)、把此RowSet对象加入到Trans的List<RowSet>成员中保存。
List<StepMeta> hopsteps=transMeta.getTransHopSteps(false);
得到step列表
……
对每一个step进行如下设置
for (int i=0;i<hopsteps.size();i++)
{
StepMeta thisStep=hopsteps.get(i);
……
//找到下一个step的列表
List<StepMeta> nextSteps = transMeta.findNextSteps(thisStep);
int nrTargets = nextSteps.size();
for (int n=0;n<nrTargets;n++)
{
StepMeta nextStep = nextSteps.get(n);
…… 对于每一个hop信息生成RowSet,并设置RowSet,把
int thisCopies = thisStep.getCopies(); 处理源step的次数
int nextCopies = nextStep.getCopies(); 处理目标step的次数
for (int c=0;c<nrCopies;c++) nrCopies 根据 上面的thiscopies和nextcopies得到
{
RowSet rowSet; //定义rowset 用来存放元数据 对于每一个hop信息生成RowSet,并设置RowSet
switch(transMeta.getTransformationType()) {
case Normal:
// This is a temporary patch until the batching rowset has proven to be working in all situations.
// Currently there are stalling problems when dealing with small amounts of rows.
//
Boolean batchingRowSet = ValueMeta.convertStringToBoolean(System.getProperty(Const.KETTLE_BATCHING_ROWSET));
if (batchingRowSet!=null && batchingRowSet.booleanValue()) {
rowSet = new BlockingBatchingRowSet(transMeta.getSizeRowset());
} else {
rowSet = new BlockingRowSet(transMeta.getSizeRowset());
}
break;
case SerialSingleThreaded:
rowSet = new SingleRowRowSet();
break;
case SingleThreaded:
rowSet = new QueueRowSet();
break;
.................
rowsets.add(rowSet);
最后的得到rowset
}
}
……
(4)、根据TransMeta的step信息生成相应的StepMetaDataCombi(即steps)信息,加到steps列表中。
StepMetaDataCombi combi = new StepMetaDataCombi();
combi.stepname = stepMeta.getName();
combi.copy = c;
combi.stepMeta = stepMeta;
combi.meta = stepMeta.getStepMetaInterface();
StepDataInterface data = combi.meta.getStepData();
combi.data = data;
……
StepInterface step=combi.meta.getStep(stepMeta, data, c, transMeta, this);
在step初始化时,会把Trans中的List<RowSet>的相应的rowset加入到step的inputRowSets,和outputRowSets中。
combi.step = step;
steps.add(combi);
打开了所有的step线程,核心代码如下:
for (int i=0;i<steps.size();i++){
steps.get(i).step.start();
}
实现StepInterface的不同的step各个功能个不一样,但是它们之间也有一定的规律性。下图只列举了两个step,(TextInput)文本输入和Uniquerow(去重)。
每一个具体的step启动线程时,自动调用run函数,它们统一调用基类的静态方法
public void run(){
BaseStep.runStepThread(this, meta, data);
}
基类BaseStep采取了统一的处理方式,调用子类processRow以行为单位处理,核心代码如下。
while (stepInterface.processRow(meta, data) && !stepInterface.isStopped());
processRow( )通用过程是:调用基类BaseStep 的getRow( )得到数据,对一行数据处理,处理之后调用基类putRow( )方法数据保存至outputRowSets(即next step的inputRowSets)
Trans中的ETL过程(每个step)以行为单位处理,其中行的元数据信息RowMeta和数据信息统一保存在RowSet对象中。
在RowSet中RowMeta的成员的调试结果如下。可见rowMeta储存了每列数据的名称和类型。第一列列名flag,数据是长度为1的String;第二列列名id…
RowSet的数据信息在queArray队列中,调试结果如下:可以看出第一个数据元素是一个Object包含了3列,数据内容为(N,1,a…)
原文地址:http://blog.csdn.net/yujin753/article/details/42099661