首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

HBase跑 地图/reduce 须关闭Speculative Execution

2012-07-24 
HBase跑 map/reduce 须关闭Speculative Execution什么是Speculative Execution所谓的推测执行,就是当所有t

HBase跑 map/reduce 须关闭Speculative Execution
什么是Speculative Execution

所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill掉,这也是我们经常在Job Tracker页面看到任务执行成功,但是总有些任务被kill,就是这个原因。

mapred.map.tasks.speculative.execution=true

mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项,它们默认值是true

然而在HBase中,这样做,会加重regionserver的load。

因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。
而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。

所以,强烈建议关闭 Speculative Execution

关闭的方法是在jobconf中设定

热点排行