首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

Hadoop 关于最大地图 reducer数目

2012-08-28 
Hadoop 关于最大map reducer数目mapred-site.xml文件:?propertynamemapred.tasktracker.map.tasks.max

Hadoop 关于最大map reducer数目

mapred-site.xml文件:

?

<property>  <name>mapred.tasktracker.map.tasks.maximum</name>  <value>2</value>  <description>The maximum number of map tasks that will be run  simultaneously by a task tracker.  </description></property><property>  <name>mapred.tasktracker.reduce.tasks.maximum</name>  <value>2</value>  <description>The maximum number of reduce tasks that will be run  simultaneously by a task tracker.  </description></property>
每个机子的配置可能不一样,所以可以根据具体配置来设置每个tasktracker的最大map 最大reduce数目。
查看http://localhost:50030/machines.jsp?type=active来检查数量
配置完成后,只需要重启配置发生改变的机子,结合公平调度器来使用,可以最大程度上提升性能
Note:有些人可能在集群上打包运行的时候来指定mapred.tasktracker.map.tasks.maximum来改变一个节点上
map数目,但是这个属性只能通过在mapred-site.xml设置,在客户端配置某些属性,将不会产生影响。

热点排行