获取数据库增量数据的几种方式 a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建 ...
分类：
数据库 时间：
2016-11-25 09:29:52
阅读次数：
228
转载：http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换 ...
分类：
其他好文 时间：
2016-11-24 21:41:34
阅读次数：
401
从10g开始，Oracle提供更高效的Data Pump（即expdp/impdp）来进行数据的导入和导出，老的exp/imp还可以用，但已经不建议使用。注意：expdp/impdp和exp/imp之间互不兼容，也就是说exp导出的文件只能用imp导入，expdp导出的文件只能用impdp导入。 D ...
分类：
其他好文 时间：
2016-11-17 00:25:20
阅读次数：
373
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分 ...
分类：
其他好文 时间：
2016-11-03 18:39:10
阅读次数：
296
原文:《BI项目笔记》增量ETL数据抽取的策略及方法 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到； ...
分类：
其他好文 时间：
2016-10-09 13:35:34
阅读次数：
122
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设 ...
分类：
其他好文 时间：
2016-10-08 20:23:43
阅读次数：
109
1.xpath和css的节点的共同结合使用是一个挺好的使用过程，还有就是配合正则表达式的使用，这个也是很重要的。解决任何一个问题都会有不同方法。学会思考的解决问题。 2.item的数据抽取，pipeline的数据处理，setting抓取时候的设置，spider中的爬虫的编写。 3.数据处理的学习，p ...
分类：
其他好文 时间：
2016-10-08 14:12:30
阅读次数：
134
前面提到，当多库通过ODI抽取到一个库时，通过建立中间用户，在中间用户上建立日志表，将源端日志写入中间用户日志表方式进行数据抽取。发现，实际使用过程中由于通过dblink进行远端写，并且跟系统繁忙程度有关，发现生产库上大量网络等待。为了解决该问题，需要把日志写在本地库中。然而，要解决这个问题，需要为 ...
分类：
其他好文 时间：
2016-09-26 12:28:47
阅读次数：
170
新使用的控件有：根据字段的值来改变序列、生成随机值、获取系统时间、增加序列 ...
分类：
其他好文 时间：
2016-09-24 19:10:38
阅读次数：
519
每日指标的计算： 每日指标计算脚本是本系统大部分指标的基础，设计十多个计算指标，以及三十多个取数指标，所以计算过程比较复杂，整个过程如下图所示，下面挑比较典型的几种指标的计算详细介绍。 1）日指标计算——数据输入（系统计算参数的输入）： 日指标计算主要是从2个表控件进行数据输入，如下图所示： 因为每 ...
分类：
其他好文 时间：
2016-09-24 19:07:56
阅读次数：
221
