首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

Hadoop 关于0.95/1.75 * (number of nodes)误会

2012-08-24 
Hadoop 关于0.95/1.75 * (number of nodes)误解首先要明白一概念,就是reduce任务槽,即集群能够同时运行的r

Hadoop 关于0.95/1.75 * (number of nodes)误解

首先要明白一概念,就是reduce任务槽,即集群能够同时运行的reduce任务的最大数量

一般reduce的个数被设为:0.95/1.75 * (number of nodes)

Note:这里的nodes不是集群中TaskTracker的总数,而是所有TaskTracker的reduce任务槽总数

0.95:if 某个reduce失败,那么JobTracker就很很快找到另外一台有空闲reduce

任务槽的集群去执行

1.75:这样可以使得执行快的机器执行更多的reduce任务,使得负载平衡,提高集群处理速度

热点排行