ETL 概念 ETL中三个字母分别代表的是Extract、Transform、Load,即抽取、转换、加载。(1)数据抽取:从源数据源系统抽取目的数据源系统需要的数据;(2)数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工。(3)数据加载...
分类:
其他好文 时间:
2014-09-23 20:46:15
阅读次数:
432
(1)老妈十一要回老家,才突然发现买票好难啊。有亲朋很重要(2)这周我做了什么。jdic,ETL,groovy,Nutz好多东西想学。(3)想改变,却发现这么久,还是在原地踏步。(4)人的性质真是很不相同啊。看贝儿很快就会去拉客来买东西,杨阳洋就羞涩些。生活中每个人处理问题的方式各不相同也是他们性质...
分类:
其他好文 时间:
2014-09-22 00:48:11
阅读次数:
218
1.ETL: 数据层之间,主要在数据库层面上进行数据抽取过程------数据库层2.ESB 异构系统之间通过总线技术,实现系统交互---------------系统通信层3.BPM 自动化流程处理,监控机制-------------------------------业务编排,系统组合服务
分类:
其他好文 时间:
2014-09-21 05:51:49
阅读次数:
391
http://blog.csdn.net/zlp321002/article/details/3413365ETL设计之-Foreach 循环容器应用场景:批量导入某一文件夹下的所有文件.就可以用foreach循环容器里面的文件枚举。要求:需要把D:/Temp目录下所有csv导入某一个表。如下图:步...
分类:
其他好文 时间:
2014-09-21 02:47:19
阅读次数:
292
利用kettle对输入数据进行验证检查,并处理跟踪错误数据。...
分类:
其他好文 时间:
2014-09-17 13:40:22
阅读次数:
203
通过示例学习Excel Writer步骤,简单一些,是根据模板生成excel报表的最佳方法。...
分类:
其他好文 时间:
2014-09-16 19:02:40
阅读次数:
333
从努力到选择 从实现到设计从部分到整体 以下是我对DW design的一些想法下次使用C#来实现一下ETL中Source 的信息 数据提供形式:DB(ORACLE SQLSERVER VERTICA ...) FLAT FILE (EXCEL , CSV, TXT...) 源系统 db:host.....
分类:
其他好文 时间:
2014-09-15 07:40:58
阅读次数:
198
1.基础数据的维护,基本都是人工实现2.慢慢基于文件进行导入3.专业的数据交换平台=================================Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。所以使用开源的Kettle工具: 1.完善的....
分类:
其他好文 时间:
2014-09-12 21:56:34
阅读次数:
366
使用kettle 批量下载文件示例,非常实用且详细的教程,有代码供下载学习!...
分类:
其他好文 时间:
2014-09-10 09:37:20
阅读次数:
184
kettle udjc 步骤的详细说明,用示例来辅助学习,非常好的学习kettle资料。...
分类:
编程语言 时间:
2014-09-07 19:53:25
阅读次数:
339