标签:
1、informatica中domain与node的理解:
domain 类似于局域网,node就是局域网中的节点或者计算机。
node应与repository在数据库中存储在不同的scheme中,此处node指informatica操作的内容。
2、informatica中Repository Service 与 Intergration Service
IS:工作引擎;RS:管理引擎,管理repository;
IS与RS工作流程为:客户端发请求到IS,IS调用RS完成各种ETL操作,其中,RS工作过程中会访问repository进行元数据信息、T规则等访问,并将task,workflow的结果状态等存储到repository。
一般一个IS对应一个node,当一个一个IS要对应多个node时,涉及grid,将多个node放在一个grid下,一个grid对应一个IS。
3、server与client端driver配置
一般配置driver时,尽可能选择native dirver,native dirver的性能高于ODBC,但是ODBC的兼容性和适用性高。
server 端driver:用于ETL过程中实际存取读写数据;
client 端driver:用于导入source/target 表,即元数据。
4、informatica中数据处理方式为并行处理,即管道式处理。
5、分区
分区使处理方式由单线程变成多线程,一个连接变成多个连接。
分区后,当使用汇总、关联等组件时informatica可自动保证数据结果的正确性。
在汇总、关联之前,若数据已进行排序,且组件中已排序属性已勾选,则数据为流式通过;否则,需数据全量到达然后进行处理。
6、集群:
informatica既可支持单机,也可建立集群环境。而且,集群环境可以异构,即不限定OS,version等;
在集群环境中,任务可通过以下三种方式分发:
第一种:轮询;
第二种:动态控制,需在config文件中进行配置;
第三种:建立task与node的映射表(,然后在config文件中进行配置该映射表?)。
无论采取哪种方式,都可以保证task的执行顺序,因为task的执行顺序是由repository中workflow表(表名貌似是OPB_WORKFLOW)存储。
7、增值服务组件:HA,可自动接管坏点
启用方式为:运行workflow时以auto recovery方式运行;
要求:需在磁盘中建立共享存储,并配置主从节点。
8、规则文档映射
informatica中mapping可导出成excel文件,并包含各种transformation rule。
使用方式:在客户端repository组件中,选择要导出的mapping,右键菜单 export metadata。
9、批量开发
利用visio组件,可实现批量ETL过程开发,尤其适用于平推。(具体转化方式不详)
10、CDC 增量采集
主要适用于可做增量log的DB,如 oracle。先capture,然后apply。(具体抓取方式需查询相关文档)
11、下推优化:
指导方针:平衡DB sever 与informatica server的负载。
原理:将下推部分转化成sql,在DB中实现。可实现source下推和target下推。
使用方法:session中mapping 菜单下有pushdown 选项。
12、数据校验插件 data validation
可创建valid rule,代替手工校验。
13、前瞻监控 rulepoint
14、调优:
1、减少port field
2、减少过程中数据量,尽早filter
3、避免不必要排序,sort is expensive
4、expression 中符号比表达式性能高
expression 中有变量端口,可生成中间量,重复使用
expression中尽量少嵌套,可用高级函数代替
5、尽量避免类型转换
6、high precision is expensive
15、read write transformation 的统计信息除了在workflow monitor中,session log中也有
16、session中各参数
DTM memory:session占用的全部内存(内存块个数)
buffer block size:内存块大小(mapping中所有source的数据量的整数倍)
line sequential buffer length:当源是文件时,文件记录长度
max memory:最大内存块数
17、session 调优:
尽量关闭日志;
目标加载前利用pre sql 删除索引约束,加载完成后利用post sql 重建索引约束;
提交间隔可稍微设置大一些;
关闭统计信息收集;
设置各种参数;
数据装载方式尽量选择loader
18、temp文件与cache文件的区别:
具体参见各组件使用的文件夹配置名称,如sort组件使用temp文件夹,join组件使用cache文件夹。
标签:
原文地址:http://www.cnblogs.com/tdskee/p/5787175.html