一個任務(wù)出現(xiàn)失敗時，tasktracker會將此任務(wù)的失敗信息報告給jobtracker，jobtracker會分配新的節(jié)點執(zhí)行此任務(wù)。這種情況下不會影響整個作業(yè)的完整執(zhí)行。但是如果容易任務(wù)出現(xiàn)多次失敗，且失敗次數(shù)超出失敗的最大指定次數(shù)，那么作業(yè)會在未完成的情況下被終止。

mapred-site.xml: hadoop1.x:mapred.max.map.attemptsmapred.max.reduce.attempts hadoop2.x:<property><name>mapreduce.reduce.maxattempts</name><value>4</value><description>Expert: The maximum number of attempts per reduce task.In other words, framework will try to execute a reduce task these many numberof times before giving up on it.</description></property><property><name>mapreduce.map.maxattempts</name><value>4</value><description>Expert: The maximum number of attempts per map task.In other words, framework will try to execute a map task these many numberof times before giving up on it.</description></property>

?

轉(zhuǎn)載于:https://www.cnblogs.com/weian404/p/3698068.html

總結(jié)

以上是生活随笔為你收集整理的mapreduce任务出错最大尝试次数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。