Hadoop-0.20.0分布式集群配置
?Hadoop集群的安装和配置,主要分为两个部分:一部分是主机环境配置,主要是指Hadoop集群所依赖的操作系统及其相关软件的安装配置,包括操作系统安装、JDK安装配置、主机规划与IP地址映射配置、无密码认证会话配置;另一部分是Hadoop基本配置,主要是指Hadoop集群的各种基本组件的配置,包括HDFS的配置、MapReduce配置。
?
下面根据上面总结的两个部分进行详细配置实践。在配置之前,先准备一下我们使用的软件,如下所示:操作系统:centos 6.2Sun JDK:jdk-6u31-linux-x64.binHadoop:hadoop-0.20.2.tar.gzhadoop集群IP:172.16.0.90 ? hadoop-1?master?;172.16.0.91 ??hadoop-2?slave;172.16.0.92 ??hadoop-3?slave?;172.16.0.93 ??hadoop-4?slave;JDK安装配置
?
直接安装即可,执行如下命令:上面配置内容,是与HDFS的基本属性相关的,一般在系统运行过程中比较固定的配置,都放到这里面。如果需要根据实际应用的变化,可以配置到hdfs-site.xml文件中,下面会解释。6、配置hdfs-site.xml文件配置文件 vim /usr/local/hadoop-0.20.2/conf/hdfs-site.xml 的内容,如下所示:该配置文件配置与HDFS相关的属性,而且这些属性可能在使用计算过程中(如进行MapReduce计算),需要变化,如数据存储目录等等。如果该配置文件hdfs-site.xml和core-site.xml中同时都配置了某个属性,则hdfs-site.xml会覆盖掉core-site.xml中配置的属性。7、配置mapred-site.xml文件配置文件conf/mapred-site.xml是与MapReduce计算相关的,在实际使用中根据需要进行配置某些参数,如JVM堆内存分配大小等。该配置文件的内容,配置如下所示:9、安装文件远程分发执行远程拷贝命令:
?
172.16.0.90 hadoop-1172.16.0.91 hadoop-2172.16.0.92 hadoop-3172.16.0.93 hadoop-4?保存以后,这时,你再通过域名访问Hadoop集群结点,就可以看到该结点的一些基本信息。参考链接http://www.vanjor.org/blog/2011/08/hadoop-step-into-action/
?