Hadoop 关于0.95/1.75 * (number of nodes)误会

Hadoop 关于0.95/1.75 * (number of nodes)误解首先要明白一概念,就是reduce任务槽,即集群能够同时运行的r

Hadoop 关于0.95/1.75 * (number of nodes)误解

首先要明白一概念,就是reduce任务槽,即集群能够同时运行的reduce任务的最大数量

一般reduce的个数被设为:0.95/1.75 * (number of nodes)

Note:这里的nodes不是集群中TaskTracker的总数,而是所有TaskTracker的reduce任务槽总数

0.95:if 某个reduce失败,那么JobTracker就很很快找到另外一台有空闲reduce

任务槽的集群去执行

1.75:这样可以使得执行快的机器执行更多的reduce任务,使得负载平衡,提高集群处理速度