标签：ar   strong   sp   on   问题   log   bs   时间   as   

问题：

发现每次reduce阶段跑到98%，相关的container被杀，报出的log大概的意思:container 600s未报告进度超时被杀

解决办法：

在mapreduce程序里加上

conf.set("mapred.task.timeout", "0");                        //不检查超时

重新打包运行，最后没有出现错误，但是运行很长时间，总算运行完了，怀疑程序问题有大循环
最后检查reduce发现会有双层循环，有可能会非常大，导致卡在reduce内部，长时间没有进行任何的读写，也就没有汇报他的进度情况

总结

yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀

标签：ar   strong   sp   on   问题   log   bs   时间   as   

原文地址：http://blog.csdn.net/u011750989/article/details/40424331