码迷,mamicode.com
首页 > 其他好文 > 详细

mapreduce任务出错最大尝试次数

时间:2014-04-29 16:47:48      阅读:521      评论:0      收藏:0      [点我收藏+]

标签:des   com   http   class   blog   style   div   img   code   java   javascript   

一个任务出现失败时,tasktracker会将此任务的失败信息报告给jobtracker,jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败,且失败次数超出失败的最大指定次数,那么作业会在未完成的情况下被终止。

bubuko.com,布布扣
mapred-site.xml:
hadoop1.x:
    mapred.max.map.attempts
    mapred.max.reduce.attempts
hadoop2.x:
    <property>
      <name>mapreduce.reduce.maxattempts</name>
      <value>4</value>
      <description>Expert: The maximum number of attempts per reduce task.
      In other words, framework will try to execute a reduce task these many number
      of times before giving up on it.
      </description>
    </property>
    
    <property>
      <name>mapreduce.map.maxattempts</name>
      <value>4</value>
      <description>Expert: The maximum number of attempts per map task.
      In other words, framework will try to execute a map task these many number
      of times before giving up on it.
      </description>
    </property>
bubuko.com,布布扣

 

mapreduce任务出错最大尝试次数,布布扣,bubuko.com

mapreduce任务出错最大尝试次数

标签:des   com   http   class   blog   style   div   img   code   java   javascript   

原文地址:http://www.cnblogs.com/orangeann/p/3698068.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!