hadoop单机装配要点

hadoop单机安装要点
今天安装了hadoop的单机版，参照网上的一些博文，终于成功了，环境如下：

Hadoop版本：hadoop-0.20.203.0
Java JDK版本：1.6.0_29
linux环境：suse 9

参照博文：
http://www.cnblogs.com/maczpc/archive/2010/01/17/1650191.html

在参照上述博文的基础上，还有如下几个要点：

1、检查SSH是否安装，命令如下：
$ssh -version

2、配置JAVA_HOME，在 conf/hadoop-env.sh 中添加如下内容：
export JAVA_HOME=/opt/jdk1.6.0_29

3、检查hadoop配置：
   conf/core-site.xml内容如下:

...<configuration> <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>      </property></configuration>

  hdfs-site.xml内容如下：

...<configuration>  <property>         <name>dfs.replication</name>         <value>1</value>       </property></configuration>

  mapred-site.xml内容如下：

...<configuration>  <property>         <name>mapred.job.tracker</name>         <value>localhost:9001</value>       </property></configuration>

4、以root方式启动，会遇到问题，提示如下：
   hadoop Unrecognized option: -jvm 
  检查bin/hadoop，发现如下内容：

  if [[ $EUID -eq 0 ]]; then    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"  else    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"  fi

  如果是root用户启动，需要传 -jvm参数，不知是何用意，暂时先注掉，如下所示：

  #  if [[ $EUID -eq 0 ]]; then  #    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"  #  else       HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"  #  fi

  启动正常

5、格式化新的文件系统，启动hadoop
  $bin/hadoop namenode –format
  $bin/start-all.sh

6、启动完毕，可以通过如下地址查看启动情况：
   NameNode - http://host:50070/
  JobTracker - http://host:50030/

查看更多 下一篇