hadoop 环境配搭

hadoop 环境搭配
环境说明：CentOS 6.2 64位操作系统
两台机器，部署如下：

<configuration>    <property>    <name>mapred.job.tracker</name>    <value>fanbin01:9001</value>    </property>    </configuration>

4.格式化一个新的分布式文件系统
hadoop namenode –format


5.启动集群
start-all.sh


6.配置完成后，可以通过访问以下页面，判断是否配置成功。
http://fanbin01:50030


7. 运行WordCount的例子
  Hadoop  jar  WordCount.jar  /input   /output


8.关闭集群
stop-all.sh


9.启动集群常见问题：
1）hadoop集群启动遇到java.net.NoRouteToHostException: No route to host
方法一：防火墙没关，sudo /etc/init.d/iptables stop关闭防火墙
方法二：各台机器，在root权限下关闭防火墙 service iptables stop
2）Hadoop格式化HDFS报错java.net.UnknownHostException
需要保证/etc/sysconfig/network中的hostname 与 /etc/hosts中有正确的映射
可参考http://blog.csdn.net/shirdrn/article/details/6562292，按该方法改完如果没有生效，需要重启各台机器；
3）主节点jobtracter日志中有hadoop problem cleaning system directory，50030界面状态一致为 初始化状态时，可按以下方法解决。
在主节点进行关闭，hadoop dfsadmin -safemode leave

查看更多 下一篇