首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 操作系统 > UNIXLINUX >

hadoop 在redhat linux5 下部署成功(三机)

2012-09-15 
hadoop 在redhat linux5 上部署成功(三机)断断续续,折腾了一个礼拜,终于在出差的时候把这个hadoop部署成功

hadoop 在redhat linux5 上部署成功(三机)
断断续续,折腾了一个礼拜,终于在出差的时候把这个hadoop部署成功了。
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。




【遇到的问题】

0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
  bin/hadoop dfsadmin -safemode leave
  bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
  192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT! 
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
# that require network functionality will fail.#127.0.0.1        rh0 localhost [配置成这个会报错]127.0.0.1        localhost::1        localhost6.localdomain6 localhost6192.168.126.100 rh0192.168.126.101 rh1192.168.126.102 rh2 

热点排行