首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

关于 MapReduce Too Many fetch failures.Failing the attempt异常

2012-12-17 
关于 MapReduce Too Many fetch failures.Failing the attempt错误reduce task启动后的第一阶段是shuffle(

关于 MapReduce Too Many fetch failures.Failing the attempt错误

reduce task启动后的第一阶段是shuffle(向map端fetch数据),每次fetch数据的时候都可能因为connect timeout,read timeout,checksum error等原因时报,因而reduce task为每个map设置了一个计数器,用以记录fetch该map输出时失败的次数,当失败次数达到一定阀值的时候。会通知MRAppMaster 从该map fetch数据时失败的次数太多了,并打印想要的log;

?

该阀值计算方式:

?

?

???? 默认的阀值是3,

?

?

?

?

?

?

热点排行
Bad Request.