码迷,mamicode.com
首页 > 其他好文 > 详细

使用hive重定向导出的数据文件中包含WARN日志记录问题

时间:2020-06-23 15:54:30      阅读:73      评论:0      收藏:0      [点我收藏+]

标签:oop   for   htm   就会   adl   org   rmi   包含   rect   

感谢分享:http://blog.sina.com.cn/s/blog_7e04e0d00102w140.html

采集程序是使用hive -f xx.hql> xx.out,在使用sqoop将数据导入关系型数据库。

最近赶上大数据平台升级,忽然之间跑的好好的任务忽然报错说类型转换错误。
 
结果经查询发现,hive -f 重定向导出的数据文件中带有如下两句WARN日志:
WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. 
 
进检查这是个bug,只要在hql中调用了add jar命令,就会报这个错。
于是用了讨巧的办法,加了个过滤,如下:
hive -f xx.hql  | grep -v "WARN" > xx.out
 
于是乎思考,重定向导出数据有这种缺陷,可以使用导出到本地文件系统
insert overwrite local directory ‘/work/ad/addata/adlog/log_version_V3/datong/DW_ADS_IMP_TYPE_DAY_out‘
row format delimited
fields terminated by ‘\t‘
select ....
 
这种方式就没有重定向的问题。

使用hive重定向导出的数据文件中包含WARN日志记录问题

标签:oop   for   htm   就会   adl   org   rmi   包含   rect   

原文地址:https://www.cnblogs.com/zpan2019/p/13181845.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!