标签:自用 过滤 取数 字符集 collect 运行 可用性 提取 sequence
一.Introduction to Oracle GoldenGate 简介
(一)Oracle GoldenGate
Oracle GoldenGate支持在事务级别跨多个异构平台之间交换和操作数据。
它的模块化体系结构使您能够灵活地提取和复制选定的数据记录、事务更改以及DDL的更改。
通过这种灵活性,以及Oracle GoldenGate的过滤、转换和自定义处理特性,您可以支持许多业务需求:
●业务连续性和高可用性。
●初始加载和数据库迁移。
●数据集成。
●决策支持和数据仓库。
支持在源和目标不同字符集之间的转换,且目标字符集和客户端必须是源字符集的超集或者等价字符集。
(二)Oracle GoldenGate组成组件
1. Extract(提取)
初始化数据:直接从源对象中提取当前数据集。变更同步:inserts, updates, and deletes, DDL changes and sequences。
提取数据通过数据库恢复日志或者事务日志,具体依靠什么还要看数据库类型,还支持第三方捕获。
2. Data pump(数据泵)
第二中提取方式,防止网络和目标故障对作业影响,可分阶段,多个源到一个目标,一个源到多个目标。可进行山筛选 TABLE。
3. Replicat(复制)
分为初始化数据和变更同步,可以将多个复制进程与多个提取进程并行使用,以增加吞吐量。使用本地数据库接口或ODBC.可进行转换 MAP。
4.Trails or extract files(跟踪和提取文件)
将捕捉到的更改临时存储在磁盘上的一系列文件中,跟踪可以存在于源或目标系统上,也可以存在于中介系统上,这取决于您如何配置Oracle GoldenGate。
跟踪的使用还允许提取和复制活动彼此独立地进行。只有一个提取进程可以写入跟踪。跟踪文件由数据泵和复制进程读取。
跟踪文件默认10M大小。默认情况下,跟踪文件存储在Oracle GoldenGate的dirdat子目录中。当处理一次运行时,生成提取文件,不生成跟踪文件。
5.Checkpoints(检查点)
检查点将进程的当前读和写位置存储到磁盘,以便进行恢复。
这些检查点确保标记为同步的数据更改实际上是由Extract提取并且Replicat复制的,它们可以防止冗余处理。
支持系统、网络、进程重启的。对于复杂的同步配置,检查点允许多个提取或复制进程从同一组轨迹读取数据。
检查点信息保存在Oracle GoldenGate目录下dirchk子目录下的检查点文件中。
CSN提交序列号,用于标识事务,维护一致性和数据完整性。唯一标识事务提交到数据库的时间点。
6.Manager(进程控制)
监视并重启Oracle GoldenGate进程。问题阈值报告,例如当吞吐量降低或同步延迟增加时。维护跟踪文件和日志。
分配数据存储空间。报告错误和事件。接收和路由来自用户界面的请求。源端和目标端系统或者用到的中间系统都需要运行管理进程。
7.Collector(收集器)
目标系统后台进程。Collector接收经过TCP/IP网络发送的提取的数据库更改,并将它们写入一个跟踪或提取文件。
通常,当需要网络连接时,Manager会自动启动收集器。当Manager启动Collector时,该进程称为动态收集器,Oracle GoldenGate用户通常不与它交互。
但是,您可以手动运行Collector。这就是所谓的静态收集器。并非所有Oracle GoldenGate配置都使用收集器进程。
进程分组:
为了区分多个捕获和复制进程,可以定义进程组,例如对不同数据集并行操作时可以划分组来进行辨别。
增加组的方式是在GGSCI命令行中ADD EXTRACT和ADD REPLICAT命令。一个进程组包含进程,参数文件,检查点文件等。
进程状态包括STOPPED(正常停止)、STARTING (正在启动)、RUNNING (正在运行)、ABENDED (Abnomal End 的缩写,表示异常结束)。
标签:自用 过滤 取数 字符集 collect 运行 可用性 提取 sequence
原文地址:https://www.cnblogs.com/yangjn/p/11905020.html