首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

(转)HBase入门札记- 完全分布模式Hadoop集群安装配置

2012-07-22 
(转)HBase入门笔记-- 完全分布模式Hadoop集群安装配置Hadoop的部署环境是经过虚拟化之后的四台主机,OS是Ub

(转)HBase入门笔记-- 完全分布模式Hadoop集群安装配置

Hadoop的部署环境是经过虚拟化之后的四台主机,OS是Ubuntu Server10.04。(XenServer5.6兼容的OS并不包括Ubuntu,将Ubuntu转成PV也是一个折腾的过程,另文介绍)。Hadoop的版本号依旧是:0.20.2.安装Java环境如上一讲所示。

?? ? ? ? ? 主机名及其IP地址对应如下:

?? ? ? ? ?Slave&TaskTracker:dm1,IP:192.168.0.17;(datanode)

?? ? ? ? ??Slave&TaskTracker:dm2,IP:192.168.0.18;(datanode)

?? ? ? ? ??Slave&TaskTracker:dm3,IP:192.168.0.9;(datanode)

?? ? ? ? ??Master&JobTracker:dm4,IP:192.168.0.10;(namenode)

?? ? ? ?Master是Hadoop集群的管理节点,重要的配置工作都在它上面,至于它的功能和作用请参考HadoopAPI。

?? ?具体配置步骤如下:

?? .修改各个节点(dm1-dm4)的HostName,命令如下:

?? .在host中添加机器的hostname和IP,用以通讯。Master需要知道所有的slave的信息。对应的slave只需要知道Master和自身的信息即可。

??命令如下:

?其它的slave(dm3……)的hosts配置应该如下图所示:

(转)HBase入门札记- 完全分布模式Hadoop集群安装配置

?? ?.Hadoop核心代码需要配置conf文件夹里面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml,hadoop-env.sh这几个文件。具体各个配置的含义请参考Hadoop帮助文档。

?? ?1.首先编辑各个机器节点(包括master和slave)的core-site.xml文件,命令如下:(Hadoop 文件夹放在home下)

?? ?2.其次编辑各个机器节点(包括master和slave)的hdfs-site.xml,命令如下:

?? ? ?4.最后,编辑各个机器节点(包括master和slave)?hadoop-env.sh文件,命令如下:

?? ?slaves如下图所示:

(转)HBase入门札记- 完全分布模式Hadoop集群安装配置

??行文至此,Hadoop的整体安装和配置已经完成。Hadoop集群的启动从Master(Namenode)机器开始,它和slave(DataNode)之间通讯使用ssh,我们接下来需要设置ssh无密码公钥认证登入。

?? ?.SSH非对称密钥的原理请参见此文和彼文。首先要在所有节点生成密钥对,具体实现步骤如下:

?? ?1.所有节点生成RSA密钥对,命令如下:

直接回车,密钥对存放为/root/.ssh/id_rsa。在该文的演示中生成/root/viki.pub然后会要求你输入密码,选择空

(转)HBase入门札记- 完全分布模式Hadoop集群安装配置

最后生成如下图:

(转)HBase入门札记- 完全分布模式Hadoop集群安装配置

?? ? ? 2.将Master(Namenode)生成的公钥viki.pub的内容复制到本机的 /root/.ssh/ 的authorized_keys 文件 里。命令如下:

?

七.参考文献?

?

?

?? ??http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html

热点排行