Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。将数据从ORACLE中抽取数据，经过hive进行分析转换，最后存放到ORACLE中去。本案例是纯demo级别，练手使用一、需求将emp和dept表的数据分析最后存放到result表。emp和de...
分类：
其他好文 时间：
2014-08-06 22:14:52
阅读次数：
371
如下图，远程部署SSIS etl时，在【选择目标】页签下，输入服务器地址无法获取服务器部署的路径。解决办法，这个办法还确实比较奇葩：办法就是修改本地的***，如果你遇到了，留言我给你回复。解决完后的图：
分类：
其他好文 时间：
2014-08-01 12:44:31
阅读次数：
330
每个项目的都有各自的场景，但是其实往小处说，场景的处理基本都是很相似，之前做copy文件的程序，其实就是一种很常见的ETL的过程(转移文件，异构系统通过文件系统交换数据，存在数据同步)。了解一下ETL：就是数据转移的一个处理过程（A库与B库之间进行数据抽取）---最重要就是格式的转换。了解一下ESB...
分类：
其他好文 时间：
2014-07-24 09:45:22
阅读次数：
256
Sqoop执行命令：./sqoopimport--connectjdbc:oracle:thin:@10.112.101.251:1621:crmadbmr--usernamebass_etl--password75!n!u6J--tableDBPMSADM.PD_USERSVC_INFO_00-m4--target-dir/ext/ods/PD_USERSVC_INFO_00/2014071906执行日志：crmd3n:/d2_data0/user/ocdc/bin/sqoop-1.4...
分类：
数据库 时间：
2014-07-21 19:27:52
阅读次数：
1653
GoldenGate作为Oracle公司大力发展的核心战略产品，在高可用、容灾、数据抽取转换方面扮演着越来越重要的作用。goldengate可以做什么，说起来真的太多了，高可用、容灾、Real-Time数据同步，如果你做过BI，一定知道ETL的工具(datastage、infomatica等)，goldengate也可以做，而..
分类：
数据库 时间：
2014-07-21 12:11:24
阅读次数：
473
上不同的地图服务平台对地图文件格式的要求多种多样，arcgis使用的文件很难应用于其他平台上，因此需要有格式转换的服务来克服这种使用不同平台带来的麻烦，下面以TIFF格式转GEOTIFF格式为例。首先需要准备几件事：1.确保安装了arcgis data interoperability for de...
分类：
其他好文 时间：
2014-07-19 22:02:30
阅读次数：
378
在进行ETL数据抽取的时候，往往会对数据进行条件拆分，比如当[工资]》5000时，才进入数据仓库，否则输出到Excel。类似这种需求。今天就来讲解一下条件拆分控件的使用。达到的目的就是把[OrderStatusCode]等于99的输出到数据仓库，不等于99的输出到Excel中。第一步：准备原始数据，...
分类：
其他好文 时间：
2014-07-16 00:40:19
阅读次数：
360
最近由于项目的需要，初步涉及到了Kettle的使用，现在将这两周自己使用kettle开发JOB的心得整理一下，与大家一起分享。 一、kettle是什么 Kettle是个ETL工具，主要用来管理不同数据来源的数据，按照一定的方式流出来，最常用的情况，不同系统之间数据的传递，可以使用kettle制作转换...
分类：
其他好文 时间：
2014-07-14 20:58:41
阅读次数：
411
ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求...
分类：
其他好文 时间：
2014-07-12 21:46:17
阅读次数：
221
总结之前工作中遇到的一个问题。
背景：
运维用scribe从apache服务器推送过来的日志有重复记录，所以这边的ETL处理要去重，还有个需求是要按业务类型多目录输出，方便挂分区，后面的使用。
这两个需求单独处理都没有问题，但要在一个mapreduce里完成，需要一点技巧。
1、map输入数据，经过一系列处理，输出时：
if(ttype.equals("other"))...
分类：
其他好文 时间：
2014-07-11 00:20:13
阅读次数：
226
