首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

hadoop配备手册

2012-07-05 
hadoop配置手册Set2 hadoop-2???????? a)[hadoop-2@hadoop~]mkdir.ssh??????? b)[hadoop-2@hadoop~]cp aut

hadoop配置手册

Set2 hadoop-2

???????? a)[hadoop-2@hadoop~]mkdir.ssh

??????? b)[hadoop-2@hadoop~]cp authrized_keys.ssh

???????? c)[hadoop-2@hadoop~]chmod755 .ssh

???????? d)[hadoop-2@hadoop~]chmod644 .ssh/ authrized_keys

这一步非常关键,必须保证authorized_keys只对其所有者有读写权限,其他人不允许有写的权限,否则SSH是不会工作的。

g)????????测试是否可无密码登陆

6,? ?Hadoop安装

a)????????mkdir /home/hadoop/hadoop/tmp

b)????????mkdir /home/hadoop/hadoop/data

c)????????mkdir /home/hadoop/hadoop/name

d)????????将hadoop包解压的对应的目录

????????????????????????i.?????????????Conf为hadoop所有配置文件的存放位置

??????????????????????ii.?????????????vi hadoop/conf/core-site.xml

1.????????<name>hadoop.tmp.dir</name>

2.????????<value>/home/hadoop/hadoop/tmp</value>?? #hadoop临时目录存放位置

3.??????????<name>fs.default.name</name>

4.???????????<value>hdfs://192.168.0.56:7771</value>? hadoop对外访问的ip:port

?????????????????????iii.?????????????vi hadoop/conf/hadoop-env.sh

1.????????9行 export JAVA_HOME=/tools/java修改对应的java目录

?????????????????????iv.?????????????vihadoop/conf/hdfs-site.xml?

1.????????<configuration>

2.????????????????<!--property>

3.????????????????????????<name>dfs.name.dir</name>

4.????????????????????????<value>/home/hadoop/hadoop/name</value>

5.????????????????</property-->

6.????????????????<property>

7.????????????????????????<name>dfs.data.dir</name>

8.????????????????????????<value>/home/hadoop/hadoop/data</value>

9.????????????????</property>

10.????????????<property>

11.????????????????????<name>dfs.replication</name>

12.????????????????????<value>3</value>

13.????????????</property>

14.?????</configuration>

a)????????修改想对应name和data的存放位置,其他不需要修改

??????????????????????v.?????????????Vi ?hadoop/conf/master?? 直接添加hadoop?? master的主机名

?????????????????????vi.?????????????Vi? hadoop/conf/slave?? 直接添加hadoop??? slave的所有主机名(每个主机一行)

???????????????????vii.?????????????Vi hadoop/conf/mapred-site.xml

1.????????<configuration>

2.????????????????<property>

3.????????????????????????<name>mapred.job.tracker</name>

4.????????????????????????<value>192.168.0.56:8888</value>

5.????????????????</property>

6.????????</configuration>

a)????????修改mapred的工作ip:port???????

7,? 进入hadoop的bin目录, sbin/start-dfs.sh启动

8,? 使用jps命令查看正常与否

????????????????????????????????????????????????????i.?????????????[root@map1 conf]# jps????? master的jps输出

5365 NameNode

5557 SecondaryNameNode

5649 JobTracker

热点排行