Hadoop 关于0.95/1.75 * (number of nodes)误解
首先要明白一概念,就是reduce任务槽,即集群能够同时运行的reduce任务的最大数量
一般reduce的个数被设为:0.95/1.75 * (number of nodes)
Note:这里的nodes不是集群中TaskTracker的总数,而是所有TaskTracker的reduce任务槽总数
0.95:if 某个reduce失败,那么JobTracker就很很快找到另外一台有空闲reduce
任务槽的集群去执行
1.75:这样可以使得执行快的机器执行更多的reduce任务,使得负载平衡,提高集群处理速度