首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

Hadoop学习笔记——怎么把Mapper/Reducer的代码分发到节点上去

2013-04-22 
Hadoop学习笔记——如何把Mapper/Reducer的代码分发到节点上去。在Hadoop中实现Map/Reduce模型,我们需要继承

Hadoop学习笔记——如何把Mapper/Reducer的代码分发到节点上去。

在Hadoop中实现Map/Reduce模型,我们需要继承如下两个类:

?

JobConf conf = new JobConf(MaxTemperature.class);conf.setJobName(MaxTemperature);FilelnputFormat.addlnputPath(conf, new Path(ar、gs[e]));FileOutputFormat.setOutputPath(conf, new Path(args(l]));conf.setMapperClass(MaxTemperatureMapper.class);conf.setReducerClass(MaxTemperatureReducer.class)';conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritable.class);JobClient.runJob(conf);

?

?

那么你实现的这两个类是怎么分发到各个节点上去执行呢。

?

在执行这个Job时,Hadoop会把你的两个class打成一个jar包,然后自动分发到各个节点上去。

?

热点排行