GoldenGate for bigdata 12.3.2.1版本新特性

标签：数据处理   avr   aws   theme   and   lang   elastics   bigdata   ast   

在Oracle Tenical Network(OTN)上已经可以下载到最新的ogg4bd版本，地址如下：
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

新增加的特性如下：

• 支持以Cassandra为源

从ogg4bd 12.3.2.1开始，GoldenGate可以从NoSQL存储中读取数据，在这个版本中，支持列式存储库Cassandra的增量数据捕获，它可以从头开始捕获，也称为初始捕获。

• 新的目标端 - Kafka REST代理

ogg4bd现在可以通过rest代理接口以LCR格式实时将数据写入kafka topic，而且支持DDL变更，其它支持的操作包括Insert/Update/Delete/PK Update。也支持模板化对输出数据进行格式化。现在也支持编码格式AVRO和JSON。最后，还提供HTTPS/SSL的通信支持。

• 新的目标端 - Oracle NoSQL

ogg4bd现在可以通过配置的形式将数据写入Oracle NoSQL数据存储，而不需要使用java adapter。它可以处理Oracle NoSQL数据类型，表和列之间的映射，支持DDL更改，主键更新的复制。这个版本支持Basic和Kerberos两种身份验证方法。

• 新的目标端 - 文本文件和AWS S3存储

ogg4bd现在提供一个新的文本文件写入器。其作用是将数据先写到本地文件系统，再将完整的数据写入到另一个位置，如HDFS。这意味着分析工具不必尝试访问这些本地存放的实时半处理文件，只需要在后续执行批量处理即可，如通过调用本地函数实现转换，合并等，更容易满足ETL或大数据平台数据处理的需求。

• 新的目标端 - AWS S3存储

ogg4bd当前提供的文本写入器，支持将数据先写到本地文件系统，再将完整的文件加载到另一个位置，如AWS S3。 S3处理程序可以写入预先创建的AWS S3存储桶(bucket)或使用AWS OAUTH认证方法创建新存储桶。

• 新的输出格式 - ORC& Parquet

ogg4bd现在提供的文本文件处理器，支持以ORC和Parquet格式写入数据。

• 最后

除旧版本支持的平台外，该版本还新增支持MapR, Hortonworks 2.7, CDH 5.14, Confluent 4.0, MongoDB 3.6, DataStax Cassandra 5.1, Elasticsearch 6.2, Kafka 1.0。

GoldenGate for bigdata 12.3.2.1版本新特性

标签：数据处理   avr   aws   theme   and   lang   elastics   bigdata   ast   

原文地址：https://www.cnblogs.com/margiex/p/9063055.html