Centos5下安装hadoop-伪分布式模式
hadoop安装
$vi conf/hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> $vi conf/mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapred.job.tracker</name> <value>192.168.60.149:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/usr/local/hadoop/mapred/local</value> </property> <property> <name>mapred.system.dir</name> <value>/tmp/hadoop/mapred/system</value> </property> </configuration>
- 配置主从配置masters文件和slaves文件 $vi conf/masters (因为我是单机测试及伪分布模式所以主从都是我自己) 192.168.60.149 $vi conf/slaves 192.168.60.149 - 编辑主机名 目的是都能找到自己相关的机器 #vi /etc/hosts 192.168.60.149 master 192.168.60.149 slave
- Hadoop启动格式化namenode $bin/hadoop namenode -format启动所有进程 $bin/start-all.sh - 日志信息hadoop的日志信息默认在安装目录下面的logs下面 - 查看信息hadoop默认开放web状态展示访问地址为 http://localhost:50070； http://localhost:50030； - 简单的daemohadoop自带一些简单的实例。测试下单词统计功能。创建一个文件夹，用于存储。 $bin/hadoop fs -mkdir test将linstall.log这个文件放在test这个文件夹里面 $bin/hadoop fs -copyFromLocal install.log test统计test文件夹里面的 单词数量 将答案放在testoutput里 $bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount test testoutput运行后将可以在web界面看见job的状态。和完成的状态。具体单词数量等统计结果要查看 $bin/hadoop fs -ls drwxr-xr-x - hadoop supergroup 0 2011-07-11 11:13 /user/hadoop/test drwxr-xr-x - hadoop supergroup 0 2011-07-11 11:15 /user/hadoot/testoutput $bin/hadoop fs -ls testoutput Found 3 items -rw-r--r-- 1 hadoop supergroup 0 2011-07-11 16:31 /user/hadoop/shanyang1/_SUCCESS drwxr-xr-x - hadoop supergroup 0 2011-07-11 16:30 /user/hadoop/shanyang1/_logs -rw-r--r-- 1 hadoop supergroup 32897 2011-07-11 16:31 /user/hadoop/shanyang1/part-r-00000 $bin/hadoop fs -cat /user/hadoop/shanyang1/part-r-00000 将可以看到详细的统计信息
