关于 MapReduce Too Many fetch failures.Failing the attempt错误
reduce task启动后的第一阶段是shuffle(向map端fetch数据),每次fetch数据的时候都可能因为connect timeout,read timeout,checksum error等原因时报,因而reduce task为每个map设置了一个计数器,用以记录fetch该map输出时失败的次数,当失败次数达到一定阀值的时候。会通知MRAppMaster 从该map fetch数据时失败的次数太多了,并打印想要的log;
?
该阀值计算方式:
?
????? 默认的阀值是3,
??
?
?
?
?