Hadoop 安装配置
主要安装流程和注意事项
?
?
红色两天要特别注意
?
1. 安装JDK，JRE ?(jdk-7u3-linux-x64.tar.gz) 64位操作系统
2. 设置环境变量JAVA_HOME and PATH (/etc/profile) 对所有用户都生效
?
JAVA_HOME=/usr/local/jdk1.7.0_03
export JAVA_HOME
?
PATH=$JAVA_HOME/bin:/opt/hadoop/bin:$PATH
export PATH
?
如果更改.basrc 文件只会对当前用户生效
?
3. SSH 无密码访问 (从NameNode，JobTracker 节点无密码 SSH 到DataNode节点,TaskTracker节点)
?
无密码访注意chmod 700 -R .ssh 目录 ,其实主要是authorized_keys 文件更改权限为 700 否则会无法正常SSH,虽然设置了SSH但还是需要密码。（注意）
?
4. 修改Host 文件 ?/etc/hosts 添加IP 和 主机名称的对应关系
?
5. 修改主机名称 hostname 查看更改结果
?
修改 /etc/sysconfig/network 文件?
?
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hadoop75 // 修改主机名称 ?
?
再用hostname 修改主机名称
?
?
6.拷贝Hadoop 软件到每个主机，并修改配置文件，创建需要的目录
?
目录设置参考： (安装到/opt 目录下)
[hadoop@hadoop75 opt]$ ll /opt/
total 48
drwxrwxr-x ?3 hadoop hadoop 4096 Feb 28 14:47 data (数据存储目录，NameNode节点和 DataNode节点)
lrwxrwxrwx ?1 hadoop hadoop ? 23 Feb 27 18:52 hadoop -> /opt/hadoop-0.20.205.0/
drwxr-xr-x 17 hadoop hadoop 4096 Feb 28 10:40 hadoop-0.20.205.0
lrwxrwxrwx ?1 hadoop hadoop ? 16 Feb 28 16:06 hive -> /opt/hive-0.8.1/
drwxrwxr-x ?9 hadoop hadoop 4096 Feb 28 16:06 hive-0.8.1
drwxrwxr-x ?3 hadoop hadoop 4096 Feb 28 10:27 mapred
drwxr-xr-x ?3 hadoop hadoop 4096 Feb 29 17:07 tmp
?
?
? ? ? ? ? ? <name>hadoop.tmp.dir</name> (Hadoop临时文件存储目录) ??
? ? ? ? ? ? <value>/opt/tmp</value>
?
? ? ? ? ? ? <name>dfs.name.dir</name> ?
? ? ? ? ? ? <value>/opt/data/name</value> (NameNode 节点的数据存储目录) 注意: 此目录在Linux文件系统中不要创建留给Hadoop来创建否则会有错误。
? ?
? ?<name>dfs.data.dir</name> ?
? ? ? ? ? ? <value>/opt/data/data</value> ?(DataNode 节点的数据存储目录，实际分块数据的存储位置)
?
? ?<name>mapred.local.dir</name> (MapReduce 在本地的临时文件的存储目录)
? ? ? ? ? ? <value>/opt/mapred/local</value>
?
? ?<name>mapred.system.dir</name> (MapReduce 在Hadoop文件系统HDFS中存储临时数据的目录)
? ? ? ? ? ? <value>/hadoop/mapred/system</value>
?
? ?<name>mapred.job.tracker</name> (JobTracker 的节点)
? ? ? ? ? ? <value>hadoop75:9001</value>
?
? ?<name>fs.default.name</name> ? ?(NameNode 的节点)
? ? ? ? ? ? <value>hdfs://hadoop75:9000</value>
?
7 其他各机器配置文件拷贝一份,而后执行hadoop namenode -format 即可生成HDFS文件系统?
start-all.sh 即可启动Hadoop， jps 查看是否有相应进程
?
jps
4316 JobTracker
5484 Jps
4058 NameNode
4229 SecondaryNameNode ?// NameNode 节点
?
?
jps
2867 DataNode ?// DataNode 节点
21479 Jps
2977 TaskTracker
?
Good Luck！
