MapReduce提交作业常见有关问题

MapReduce提交作业常见问题

?今天在hadoop集群上跑MapReduce程序，遇到的一些问题和解决的方法，希望对大家有帮助！
1.从HDFS上传下载文件到
第一种错误：

?
这种错误是因为向集群中提交job任务是文件的输入路径必须要是HDFS上的文件路径，输出路径也要是HDFS上的文件
第三种错误：

第三种解决方法：
自己在程序中打包自己的mapreduce程序，然后提交job任务，这方面这部分代码在eclipse插件中也是实现了的，我们这里就是要用代码实现插件的功能。
第二种错误：
2/02/10 14:59:35 INFO input.FileInputFormat: Total input paths to process : 112/02/10 14:59:35 INFO mapred.JobClient: Running job: job_201202091335_029912/02/10 14:59:36 INFO mapred.JobClient:  map 0% reduce 0%12/02/10 14:59:48 INFO mapred.JobClient:  map 100% reduce 0%
?
这种错误出现的原因是mapreduce默认的reduce个数是1个，所以如果当map的个数很大时，reduce过程迟迟不会进行，解决方法是在代码中添加job.setNumReduceTasks(4);设置reduced的个数。
?
?
    1 楼    chenwq    2012-03-13              总结得很好，学习了！    2 楼    yu06206    2012-03-14              呵呵，都学习过程中遇到的一些问题！