2016.10.21： 之前的更新都没有贴出来。接下来对应用还会有一些重构，每隔一阶段将更新工作总结一下贴上来，顺路学习下git的命令行操作。 Version：2.2 地址：https://github.com/yusband/HotMovie/tree/HotMovie2.2 New Featur ...
分类：
其他好文 时间：
2016-10-21 16:24:23
阅读次数：
520
前面提到，当多库通过ODI抽取到一个库时，通过建立中间用户，在中间用户上建立日志表，将源端日志写入中间用户日志表方式进行数据抽取。发现，实际使用过程中由于通过dblink进行远端写，并且跟系统繁忙程度有关，发现生产库上大量网络等待。为了解决该问题，需要把日志写在本地库中。然而，要解决这个问题，需要为 ...
分类：
其他好文 时间：
2016-09-26 12:28:47
阅读次数：
170
需要将LIMS四套系统数据抽取到数据中心，最先方案如下，以REPORTS表为例，如下对应四个模型 分别建立了四个映射与四个包，但是在进行模拟测试时，发现数据抽取有问题 用上面语句模拟生产环境下，四套系统都有数据更新，提示错误如下： 原因是这样的，因为四套系统都要同步到ODI_TAG_DC下面，而在数 ...
分类：
其他好文 时间：
2016-09-18 10:18:03
阅读次数：
520
以食品REPORTS表为例，说明ODI在LIMS系统中的配置与使用。 先为REPORTS表添加列LIMS_CODE 注意：类型为NUMBER(*,0)，不允许为空，默认值为4（中心为1、可靠性为2、环境为3、食品为4）； 说明： ODI的增量刷新要求源表与目标表都有主键，并且同步根据主键来刷新其他字 ...
分类：
其他好文 时间：
2016-09-14 12:48:19
阅读次数：
213
在这里分析下最近分析和解决ODI性能问题的点滴，用作参考。在介入该问题前，已经具备的基础知识包括了ODI基础，SOA理论和实施，特别是04年封闭四天的informatic ETL培训和实操。几年的开发经验和技术积累。 首先我们拿到的问题是ODI性能慢，要知道ODI本身核心还是是ETL，只是ODI已经 ...
分类：
其他好文 时间：
2016-09-10 14:28:55
阅读次数：
178
ODI整体架构没有Oracle Database复杂，因为它属于程序功能的使用，更多是程序开发和配置的工作，当然ODI的优化涉及到很多数据库优化的工作，从整体架构入手，基础有了，整体把握就会简单很多。 首先理解ODI组件的几个组成部分、ODI资料库，最后看组件与资料库的关系。 ODI是一个数据整合的 ...
分类：
其他好文 时间：
2016-09-10 14:26:57
阅读次数：
118
增量更新策略：通过一个“update key”比较流数据记录与目标表中的记录比较进行数据整合。具有相同“update key”的记录当相关联列不同时将被更新；在目标表中不存在的记录将被插入。这种方式用来操作记录的变化不需要记录的时候。 IKM使用面向SQL编程的方法而不是通过逐行记录比较的方法来比较 ...
分类：
其他好文 时间：
2016-09-10 13:09:43
阅读次数：
209
ODI增量刷新，修改主键值后，会导致刷新失败。解决办法：使用表中值固定不定的列作为增量刷新的依据列。 演示如下： 如上，源表和目标表有相同的记录。现修改源表主键信息 执行数据同步刷新后，目标表数据如下 发现，源表在update主键时，执行同步后，会向目标表新插入一条记录，原主键值记录仍保留在库中。 ...
分类：
其他好文 时间：
2016-09-08 14:28:14
阅读次数：
342
一、前提知识：数据从源数据库向数据仓库抽取时，一般采用以下几种方式： 全抽取模式如果表的数据量较小，则可以采取全表抽取方式，以TRUNCATE/INSERT方式进行数据抽取。 基于时间戳的抽取模式如果源数据表是不可更新的数据（如大多数事务处理数据）或者是不可删除数据（只能失效历史记录的情况），则根据 ...
分类：
其他好文 时间：
2016-07-25 18:16:48
阅读次数：
314
ODI中的CDC是通过一组所谓的日志知识模块（Journal Knowledge Module，JKM）实现的，在项目中加在了这些模块后，就可以在接口设计时选择全量数据，还是变化数据。 ODI共提供了四种针对Oracle的JKM，分别是 ODI的每个接口中只能有一个日志表(Journal Table ...
分类：
其他好文 时间：
2016-07-01 13:25:04
阅读次数：
271
