(转)HBase入门笔记-- 完全分布模式Hadoop集群安装配置
Hadoop的部署环境是经过虚拟化之后的四台主机,OS是Ubuntu Server10.04。(XenServer5.6兼容的OS并不包括Ubuntu,将Ubuntu转成PV也是一个折腾的过程,另文介绍)。Hadoop的版本号依旧是:0.20.2.安装Java环境如上一讲所示。
?? ? ? ? ? 主机名及其IP地址对应如下:
?? ? ? ? ?Slave&TaskTracker:dm1,IP:192.168.0.17;(datanode)
?? ? ? ? ??Slave&TaskTracker:dm2,IP:192.168.0.18;(datanode)
?? ? ? ? ??Slave&TaskTracker:dm3,IP:192.168.0.9;(datanode)
?? ? ? ? ??Master&JobTracker:dm4,IP:192.168.0.10;(namenode)
?? ? ? ?Master是Hadoop集群的管理节点,重要的配置工作都在它上面,至于它的功能和作用请参考HadoopAPI。
?? ?具体配置步骤如下:
?? 一.修改各个节点(dm1-dm4)的HostName,命令如下:
?? 二.在host中添加机器的hostname和IP,用以通讯。Master需要知道所有的slave的信息。对应的slave只需要知道Master和自身的信息即可。
??命令如下:
?其它的slave(dm3……)的hosts配置应该如下图所示:
?? ?三.Hadoop核心代码需要配置conf文件夹里面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml,hadoop-env.sh这几个文件。具体各个配置的含义请参考Hadoop帮助文档。
?? ?1.首先编辑各个机器节点(包括master和slave)的core-site.xml文件,命令如下:(Hadoop 文件夹放在home下)
?? ?2.其次编辑各个机器节点(包括master和slave)的hdfs-site.xml,命令如下:
?? ? ?4.最后,编辑各个机器节点(包括master和slave)?hadoop-env.sh文件,命令如下:
?? ?slaves如下图所示:
??行文至此,Hadoop的整体安装和配置已经完成。Hadoop集群的启动从Master(Namenode)机器开始,它和slave(DataNode)之间通讯使用ssh,我们接下来需要设置ssh无密码公钥认证登入。
?? ?五.SSH非对称密钥的原理请参见此文和彼文。首先要在所有节点生成密钥对,具体实现步骤如下:
?? ?1.所有节点生成RSA密钥对,命令如下:
直接回车,密钥对存放为/root/.ssh/id_rsa。在该文的演示中生成/root/viki.pub然后会要求你输入密码,选择空
最后生成如下图:
?? ? ? 2.将Master(Namenode)生成的公钥viki.pub的内容复制到本机的 /root/.ssh/ 的authorized_keys 文件 里。命令如下:
?
七.参考文献?
?
?
?? ??http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html