感谢shwenwen转自http://www.itpub.net/thread-355437-1-2.html09: 09 ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那...
分类：
其他好文 时间：
2014-12-24 11:30:35
阅读次数：
218
extract-transform-load (ETL)Everyone understands the three letters: You get the data out of its original source location (E), you do something to it (...
分类：
其他好文 时间：
2014-12-23 19:22:05
阅读次数：
127
1.1. 相关类和接口
1.1.1. JobEntryTrans
实现了JobEntryInterface的execute（）方法，被job执行。由JobEntryTrans实例化Trans，并执行。
1.1.2. TransGraph
当点击trans面板的run时，由TransGraph实例化Trans，并执行。
Trans主要成员有：
private TransMeta tran...
分类：
其他好文 时间：
2014-12-23 12:33:50
阅读次数：
325
本系列文章主要索引如下：一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】本文主要阅读目录如下：1、Kettle概念2、下载和部署...
分类：
其他好文 时间：
2014-12-23 12:19:52
阅读次数：
199
最近项目需要，开始接触kettle。
Kettle 的主作者是 Matt ，他在 2003 年就开始了这个项目，在 PDI 的代码里就可以看到最早的日期大概在2003年4月。 从版本2.2开始， Kettle 项目进入了开源领域，并遵守 LGPL 协议。
在 2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI, 加入Pentaho 后Kettle 的发展越来...
分类：
其他好文 时间：
2014-12-19 12:18:26
阅读次数：
203
/*
Sql Server2012使用作业设置定时任务,来保证一天执行一次
*/
/*
一定要注意temp1表里一定要保证要有记录，否则以temp1 来 left join就出现为空的情况。
*/
/*
Step 1: 把所有的数据库列表都插入到BI数据库的DBLIST表里
*/
USE BI;
/*
drop table BI.DBO.TEMP1;
drop table...
分类：
其他好文 时间：
2014-12-17 22:40:53
阅读次数：
272
1、通过设置KETTLE_HOME环境变量可以让.kettle不需要在user.home下 2、默认kettle_home 为User.home，如果要自定义需要设置环境变量KETTLE_HOME 3、在.kettle目录下可放置以下文件或目录： ? ?? ? ? ? ?文...
分类：
其他好文 时间：
2014-12-17 19:06:14
阅读次数：
250
pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流，相当于一个有向无环图（DAG），节点代表处理数据的操作符，节点间的向量代表数据流。pig 提供了类SQL的标准操作，比直接写mapreduce代码更容易维护，主要用于ETL,原生数据研究和迭代处理。pig 什么数据都吃，也能在非hadoop上并行运算，容易控制和修改，性能较快。用户提交hadoop任务的那...
分类：
其他好文 时间：
2014-12-13 17:58:05
阅读次数：
182
最详细的kettle连接hadoop&hdfs图文教程...
分类：
其他好文 时间：
2014-12-11 10:26:52
阅读次数：
426
http://blog.csdn.net/lili72
背景1 ： 随着接入数据和处理数据的增加，生产脚本也越来越多，脚本由于前期的开发人员没有做到规范管理，导致脚本很乱。
解决方案：
1） 在lunix上规范目录，按平台，业务模块分目录存放。
2） 做好版本管理，提交到生产的脚本必须要commit到svn服务器。
3） lunix上的目录是反应到svn的目录映射。...
分类：
其他好文 时间：
2014-12-10 22:51:42
阅读次数：
208
