码迷,mamicode.com
首页 > 数据库 > 详细

Loading Data From Oracle To Hive By ODI 12c

时间:2018-03-19 15:26:47      阅读:217      评论:0      收藏:0      [点我收藏+]

标签:ODI   Oracle   Hive   

本文描述如何通过ODI将Oracle表数据同步到Hive。
1、准备工作
在hadoop集群的各个节点分别安装Oracle Big Data Connectors,具体的组件如下图所示:
技术分享图片
这里只需安装Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)两个软件。安装比较简单,直接解压即可使用(这里的ODI、oraosch以及oraloader组件都是以oracle用户身份安装的。)
2、创建目标表
在Hive上创建目标表,如下:

CREATE TABLE `RHNPACKAGE2`(
  `id` bigint, 
  `org_id` bigint, 
  `name_id` bigint, 
  `evr_id` bigint, 
  `package_arch_id` bigint, 
  `package_group` bigint, 
  `rpm_version` string, 
  `description` string, 
  `summary` string, 
  `package_size` bigint, 
  `payload_size` bigint, 
  `installed_size` bigint, 
  `build_host` string, 
  `build_time` timestamp, 
  `source_rpm_id` bigint, 
  `checksum_id` bigint, 
  `vendor` string, 
  `payload_format` string, 
  `compat` bigint, 
  `path` string, 
  `header_sig` string, 
  `copyright` string, 
  `cookie` string, 
  `last_modified` timestamp, 
  `created` timestamp, 
  `header_start` bigint, 
  `header_end` bigint, 
  `modified` timestamp);

3、创建映射
之前已经创建好oracle和hive模型,这里直接使用其创建映射。如下图所示:
技术分享图片
Integration Type设置属性:
技术分享图片
连接设置属性:
技术分享图片
过滤设置属性:
技术分享图片
LKM设置属性:
技术分享图片
IKM设置属性:
技术分享图片
如果设置TRUNCATE的值为True,每次导入之前,会把表里的数据清空再导入,默认为false。
4、执行映射
结果如下图:
技术分享图片

Loading Data From Oracle To Hive By ODI 12c

标签:ODI   Oracle   Hive   

原文地址:http://blog.51cto.com/candon123/2088516

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!