hadoop mr的一些资料（包括临时文件的存储情况）

hadoop mr的一些文件（包括临时文件的存储情况）

一、概述

一个计算的流程如下图所示，对于一个简单的wordcount的计算中，总共要经历哪些文件呢？本文将详细探讨这个话题。

二、文件存储分析1、Client提交任务之前对此任务的一些初始化工作。
一般会在{mapred.system.dir}目录中写入job.jar、job.xml、job.split文件。
2、JobTracker初始化job的时候会从hdfs中拷贝job.xml、job.split文件，为了存储JobHistory日志及获得数据分片等一些数据。
在本地{mapred.local.dir}中存储job.xml。

.|-- hadoop-dragon.caol-datanode-hd19-vm1.yunti.yh.aliyun.com.log|-- hadoop-dragon.caol-datanode-hd19-vm1.yunti.yh.aliyun.com.out|-- hadoop-dragon.caol-jobtracker-hd19-vm1.yunti.yh.aliyun.com.log|-- hadoop-dragon.caol-jobtracker-hd19-vm1.yunti.yh.aliyun.com.out|-- hadoop-dragon.caol-namenode-hd19-vm1.yunti.yh.aliyun.com.log|-- hadoop-dragon.caol-namenode-hd19-vm1.yunti.yh.aliyun.com.out|-- hadoop-dragon.caol-secondarynamenode-hd19-vm1.yunti.yh.aliyun.com.log|-- hadoop-dragon.caol-secondarynamenode-hd19-vm1.yunti.yh.aliyun.com.out|-- hadoop-dragon.caol-tasktracker-hd19-vm1.yunti.yh.aliyun.com.log|-- hadoop-dragon.caol-tasktracker-hd19-vm1.yunti.yh.aliyun.com.out|-- history|   |-- h1_1349856617736_job_201210101610_0003_conf.xml|   `-- h1_1349856617736_job_201210101610_0003_dragon.caol_word+count|-- history.idx|-- job_201210101610_0003_conf.xml`-- userlogs    `-- job_201210101610_0003        |-- attempt_201210101610_0003_m_000000_0        |   |-- log.index        |   |-- stderr        |   |-- stdout        |   `-- syslog        |-- attempt_201210101610_0003_m_000001_0        |   |-- log.index        |   |-- stderr        |   |-- stdout        |   `-- syslog        |-- attempt_201210101610_0003_m_000002_0        |   |-- log.index        |   |-- stderr        |   |-- stdout        |   `-- syslog        `-- attempt_201210101610_0003_r_000000_0            |-- log.index            |-- stderr            |-- stdout            `-- syslog

查看更多 下一篇