Hadoop安装与配置
1.前言
?
? ? ? 这里暂时不讲解什么是Hadoop(既然谷歌能找到)，本人也安装过Hadoop，不过是伪分布的方式安装的，这次是3部虚拟机安装，确实遇到了一些问题，所以写下这个教程。其他：反正也没人看前言，这里就略过吧。
? ? ? ? ? ? ? ? ? ? ? ?? ?
2.Hadoop 安装前准备
?
? ? ??虚拟机：master(192.168.1.1) slave1(192.168.1.2) slave2(192.168.1.3)
? ? ??配置Host：vi /etc/hosts
? ? ? ? ? ? ? ? ? ? ?192.168.1.1 master
? ? ? ? ? ? ? ? ? ? ?192.168.1.2 slave1?
? ? ? ? ? ? ? ? ? ? ?192.168.1.3 slave2
? ? ? 建立SSH,在master中
? ? ? ? ? ? ? ? ? ?mkdir ~/.ssh
? ? ? ? ? ? ? ? ? ?chmod 700 ~/.ssh #同样在slave1，slave2建立
? ? ? ? ? ? ? ? ? ?进入.ssh目录，生成密钥
? ? ? ? ? ? ? ? ? ?ssh-keygen -t rsa ?#一直确定到结束
? ? ? ? ? ? ? ? ? ?发布公钥到slave1跟slave2
? ? ? ? ? ? ? ? ? ?#hadoop_user为你的账户
? ? ? ? ? ? ? ? ? ?scp id_rsa.pub hadoop_user@slave1:/home/hadoop_user/master_key ?
? ? ? ? ? ? ? ? ? ?进入slave1中的.ssh目录 如果.ssh目录中不存在authorized_keys：
? ? ? ? ? ? ? ? ? ?mv master_key?authorized_keys
? ? ? ? ? ? ? ? ? ?chmod 600?authorized_keys
? ? ? ? ? ? ? ? ? ?如果存在则把master_key追加到authorized_keys中：
? ? ? ? ? ? ? ? ? ?cat master_key >> authorized_keys
? ? ? ? ? ? ? ? ? ?回到master中
? ? ? ? ? ? ? ? ? ?ssh slave1 ? ? #第一次访问需要键入yes，然后直接登录，不需要密码
? ? ? ? ? ? ? ? ? ?同理：
? ? ? ? ? ? ? ? ? ? ? ? ? master对slave2做ssh
? ? ? ? ? ? ? ? ? ? ? ? ? slave1对master做ssh
?? ? ? ? ? ? ? ? ? ? ? ? ?slave2对master做ssh
?? ? ? ? ? ? ? ? ? ? ? ? ?master对master本身做ssh
?? ? ? ?关于安装JDK6以及将JDK的环境变量设置，这里就不赘述，PS：Google吧，不懂的话
?
?3.Hadoop安装?
?
? ? ? 在http://hadoop.apache.org/common/releases.html下载Hadoop，目前最新的是1.0.x，下载解压到你自己想放的目录中，我这里放在/usr/hadoop,添加路径到/etc/profile中：
? ? ??export HADOOP_HOME=/usr/hadoop/
? ? ? export PATH=$HADOOP_HOME/bin:$PATH
? ? ? 好了，安装好了！！！
?4.Hadoop配置?
?
? ? ? ?进入HADOOP_HOME/conf修改core-site.xml文件
? ? ? ?<configuration>?
? ? ? ? ? ?<property>?
? ? ? ? ? ? ? ?<name>fs.default.name</name>?
? ? ? ? ? ? ? ?<value>hdfs://master:9000</value>?
? ? ? ? ? ?</property>
? ? ? ?</configuration>
?
? ? ? ?修改mapred-site.xml
? ? ? ?<configuration>?
? ? ? ? ? ?<property>?
? ? ? ? ? ? ? ?<name>mapred.job.tracker</name>?
? ? ? ? ? ? ? ?<value>master:9001</value>?
? ? ? ? ? ?</property>
? ? ? ?</configuration>
?
?
? ? ? ?修改hdfs-site.xml
? ? ? ?<configuration>?
? ? ? ? ? ?<property>?
? ? ? ? ? ? ? ?<name>dfs.replication</name>?
? ? ? ? ? ? ? ?<value>3</value>?
? ? ? ? ? ?</property>
? ? ? ?</configuration>
?
? ? ? ?修改masters文件
? ? ? ?master
?
? ? ? ?修改slaves
? ? ? ?slave1?
? ? ? ?slave2?
?
? ? ? ?修改hadoop-env.sh，去掉export JAVA_HOME前面的#号
? ? ? ?export JAVA_HOME=/usr/local/jdk1.6 ??
?
? ? ? ?好了，我们在启动之前我们要先格式化一下namenode
? ? ? ?hadoop namenode -format
?
? ? ? ?经过这步，终于可以启动我们的hadoop了：
? ? ? ?start-all.sh ? #因为我们把整个hadoop的bin加入到profile中，所以我们可以直接运行(给新手解释一下)
?
?5.Hadoop测试
?
? ? ? ? 打开浏览器，输入：http://master:50070/就可以看到如下集群信息啦！！！怎样，赶紧跟着配置一下吧。
?
Cluster Summary
7 files and directories, 1 blocks = 8 total. Heap Size is 23.69 MB / 966.69 MB (2%)
Configured Capacity : 13.32 GB
DFS Used : 72 KB
Non DFS Used : 7.39 GB
DFS Remaining : 5.93 GB
DFS Used% : 0 %
DFS Remaining% : 44.54 %
Live Nodes : 2
Dead Nodes : 0
Decommissioning Nodes : 0
Number of Under-Replicated Blocks : 1
关于分享本文，请保留本文出处：http://canon--in--d.iteye.com/blog/1490699
?
赞一个