[Hadoop]MultiInput跟MultiOutput

[Hadoop]MultiInput和MultiOutput
摘自象书


一个Job里可以从多个同质或异质的输入源读取数据，并使用各自的Mapper

MultipleInputs.addInputPath(conf, ncdcInputPath,    TextInputFormat.class, MaxTemperatureMapper.class)MultipleInputs.addInputPath(conf, metOfficeInputPath,    TextInputFormat.class, MetOfficeMaxTemperatureMapper.class);

MultiOutputFormat可以让你按一定规则指定、分隔reduce output的文件名，如

...static class StationNameMultipleTextOutputFormat    extends MultipleTextOutputFormat<NullWritable, Text> {        private NcdcRecordParser parser = new NcdcRecordParser();        protected String generateFileNameForKeyValue(NullWritable key, Text value,        String name) {      parser.parse(value);      return parser.getStationId();    }  }...

另有MultiOutputs类，在此不表

查看更多 下一篇