1.?????CDC简介 1.1.????????CDC是一种数据增量处理技术 ???在构建数据仓库系统的ETL过程中,增量数据的抽取是一个非常关键的环节.对解决方案一般有两点要求: l??准确性,能够将业务系统中的数据...
分类：
数据库 时间：
2014-08-29 14:47:38
阅读次数：
389
最近开始折腾数据，起源是多业务数据源需要转换到数据分析平台。这个过程需要跨机器，跨库。同时还需要将业务数据表的内容进行转换，合并，清洗等等操作。经过多方选型，最终决定使用kettle来作为数据抽取处理的工具。但是，在这里，是想吐槽下kettle这东西的问题。1.kettle的版本使用的是5.1，搭建...
分类：
其他好文 时间：
2014-08-28 17:47:45
阅读次数：
308
BUBI架构之旅本系列适用人群： 1、有BI理论基础或BI实战经验者。 2、想自己开发属于自己的BI系统者。以上条件缺一不可，否则，你可能看得不是很懂！【第1期】安装Linux服务器（DB主机与ETL主机）
分类：
其他好文 时间：
2014-08-23 19:04:21
阅读次数：
150
1、Linux简介 Linux这样的操作系统对大家来说应该并不陌生，因为它是目前后台服务器的主流操作系统之一。Linux源自于POSIX与UNIX的多用户、多任务和多CPU的操作系统。 对于Linux的相关描述，有比我说得更加清楚的。下面引自【百度百科】的词条:Linux是一套免费使用和自由传播.....
分类：
数据库 时间：
2014-08-23 18:56:51
阅读次数：
350
缓慢渐变维，即维度中的属性可能会随着时间发生改变，比如包含用户住址Address的DimCustomer维度，用户的住址可能会发生改变，进而影响业务统计精度，DimCustomer维度就是缓慢渐变维（SCD），对于SCD，处理方式通常有以下几种：Type 1：完全不记录历史变化信息，在ETL将数据载...
分类：
其他好文 时间：
2014-08-23 15:19:11
阅读次数：
409
今天有个etl开发在droppartition的时候遇到了问题，因为是使用了自己的账号，而hdfs中对应partition的文件属主是hdfs的，在删除时会因为权限问题报错，切换用户为hdfs，做droppartition的错误，还是报错，看来没这么简单。查看表的hdfs属性，目录的属主不是hdfs且目录对hdfs没..
分类：
其他好文 时间：
2014-08-23 02:29:00
阅读次数：
231
评价项目评价结果备注支持平台SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows 支持数据源DB2、Informix、Oracle、Sybase、SQL Server、Teredata、OleDB、SAS、Text、...
分类：
其他好文 时间：
2014-08-22 19:35:59
阅读次数：
281
