码迷,mamicode.com
首页 > 数据库 > 详细

hive-drop-import-delims选项对oracle的clob无效

时间:2018-07-11 20:00:42      阅读:1817      评论:0      收藏:0      [点我收藏+]

标签:flow   htm   col   name   rem   drop   varchar   工作   varchar2   

工作过程中发现了用sqoop将oracle中的数据导入到hive时,会因为oracle中类型为clob的字段中存在换行时,会造成hive的数据错位。即使加上了 --hive-drop-import-delims 也无效。

通过查询,发现有两种解决方案,

一种是将oracle中类型为clob的字段通过cast(column_name as varchar2(4000)) 将类型进行显式转换。

另一种是用 --map-column-java col1=String,col2=String 来显式说明某字段在java中的类型。

关于第二种方式,详见 https://stackoverflow.com/questions/28076200/hive-drop-import-delims-not-removing-newline-while-using-hcatalog-in-sqoop

sqoop文档中关于改参数的说明,详见:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_literal_blob_literal_and_literal_clob_literal_columns

hive-drop-import-delims选项对oracle的clob无效

标签:flow   htm   col   name   rem   drop   varchar   工作   varchar2   

原文地址:https://www.cnblogs.com/vanwoos/p/9295979.html

(1)
(2)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!