码迷,mamicode.com
首页 > 其他好文 > 详细

Parquet模式写入分区错误修改

时间:2020-07-13 21:24:30      阅读:75      评论:0      收藏:0      [点我收藏+]

标签:src   width   hive   源码   也会   模式   数据   问题   tps   

一、概述

  将数据以parquet模式写入到hive的分区表中时,底层源码有个错误,在进行分割字段判断时,没有引用已传入字符,多了一个“=”;该错误在hive的client中也会碰到

技术图片

错误原因是底层分割符引用错误,

 

 

 

技术图片

 

 

  二、解决方法

  从https://github.com/apache/parquet-mr/tree/apache-parquet-1.11.0中下载源码,将该缺陷修改掉并重新编译,然后将jar替换为修复后的,问题解决。

 

Parquet模式写入分区错误修改

标签:src   width   hive   源码   也会   模式   数据   问题   tps   

原文地址:https://www.cnblogs.com/chhyan-dream/p/13295468.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!