原文:《BI那点儿事》ETL中的关键技术
ETL(Extract/Transformation/Load)是BI/DW的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。
ETL过程中的主要环节就是数据抽取、数据转换和加工、数据...
分类:
其他好文 时间:
2014-12-10 14:05:23
阅读次数:
215
摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案
1. Join
我得到A 数据流(不管是基于文件或数据库),A包含field1 , field2 , field3 字段,然后我还有一个B数据流,B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起...
分类:
其他好文 时间:
2014-12-10 10:50:33
阅读次数:
239
在用kettle开发时常会出现 Error occured while trying to connect to the database 错误,但是仔细观察日志,引起这个错误的原因不尽相同。...
分类:
数据库 时间:
2014-12-05 19:28:25
阅读次数:
830
ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL一词较常出现在数据仓库,但其对象并不局限于数据仓库。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系...
分类:
其他好文 时间:
2014-12-05 14:09:04
阅读次数:
197
ETL(Extract/Transformation/Load)是BI/DW的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能,各个ETL工具一般会...
分类:
其他好文 时间:
2014-12-04 21:15:15
阅读次数:
370
在OGG中可以对源字段的内容进行合并或拆分,从而实现类似于“ETL”的功能。strcat(s1,s2,s3,,,):用于合并字串;strext(str, start, end):用于获取指定位置的字串。示例如下:源端myphone表,2个字段: SQL> desc myphoneName Null?...
分类:
其他好文 时间:
2014-11-27 21:56:30
阅读次数:
288
A one stop solution for infomaiton management.5 capabilities: ETL MetaData Management Text DataAnalytics Data Quality Data ProfilingStandard VS ABAP d...
分类:
其他好文 时间:
2014-11-26 18:08:42
阅读次数:
163
原文:实例学习SSIS(二)--使用迭代
导读:
实例学习SSIS(一)--制作一个简单的ETL包
实例学习SSIS(二)--使用迭代
实例学习SSIS(三)--使用包配置
实例学习SSIS(四)--使用日志记录和错误流重定向
实例学习SSIS(五)--理论介绍SSIS 目标:循环地连接某文件夹下的...
分类:
其他好文 时间:
2014-11-25 16:19:58
阅读次数:
168
原文:实例学习SSIS(五)--理论介绍SSIS导读:
实例学习SSIS(一)--制作一个简单的ETL包
实例学习SSIS(二)--使用迭代
实例学习SSIS(三)--使用包配置
实例学习SSIS(四)--使用日志记录和错误流重定向
实例学习SSIS(五)--理论介绍SSIS 一、概述 Integr...
分类:
其他好文 时间:
2014-11-25 16:12:24
阅读次数:
191
原文:实例学习SSIS(一)--制作一个简单的ETL包导读:
实例学习SSIS(一)--制作一个简单的ETL包
实例学习SSIS(二)--使用迭代
实例学习SSIS(三)--使用包配置
实例学习SSIS(四)--使用日志记录和错误流重定向
实例学习SSIS(五)--理论介绍SSIS
参考内容:SQL...
分类:
其他好文 时间:
2014-11-25 15:50:02
阅读次数:
164