首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

hadoop保留地图reduce过程中的中间文件

2012-12-18 
hadoop保留mapreduce过程中的中间文件今天在做hadoop测试时想保留map过后的中间文件,试了几次,发现通过以

hadoop保留mapreduce过程中的中间文件
今天在做hadoop测试时想保留map过后的中间文件,试了几次,发现通过以下设置可解决。
<property>
  <name>keep.failed.task.files</name>
  <value>true</value>
</property>
  <property>
  <name>keep.task.files.pattern</name>
  <value>*</value>
  </property>
这样所有中间临时文件都会被保存,map临时文件位于{hadoop.tmp.dir}/mapred/local/tasktracker/

热点排行