码迷,mamicode.com
首页 > 其他好文 > 详细

Hive Map 端OOM 异常

时间:2016-08-24 14:40:17      阅读:303      评论:0      收藏:0      [点我收藏+]

标签:

怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM

 

Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,

进一步导致了OOM,需要剔除这些记录,可以通过length来限制。

 

PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。

 

Hive Map 端OOM 异常

标签:

原文地址:http://www.cnblogs.com/yako/p/5802684.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!