Hadoop学习笔记——如何把Mapper/Reducer的代码分发到节点上去。
在Hadoop中实现Map/Reduce模型,我们需要继承如下两个类:
?
JobConf conf = new JobConf(MaxTemperature.class);conf.setJobName(MaxTemperature);FilelnputFormat.addlnputPath(conf, new Path(ar、gs[e]));FileOutputFormat.setOutputPath(conf, new Path(args(l]));conf.setMapperClass(MaxTemperatureMapper.class);conf.setReducerClass(MaxTemperatureReducer.class)';conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritable.class);JobClient.runJob(conf);
?
?
那么你实现的这两个类是怎么分发到各个节点上去执行呢。
?
在执行这个Job时,Hadoop会把你的两个class打成一个jar包,然后自动分发到各个节点上去。
?