hadoop伪分布模式起步

hadoop伪分布模式启动
1.设置conf下的core-site.xml、hdfs-site.xml、mapred-site.xml文件
core-site.xml:

<configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://localhost</value>  </property>  <property>    <name>hadoop.tmp.dir</name>    <value>tmp/hadoop-${user.name}</value>  </property></configuration>

hdfs-site.xml:

<configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property></configuration>

mapred-site.xml:

<configuration>  <property>    <name>mapred.job.tracker</name>    <value>localhost:8021</value>  </property></configuration>

2.配置ssh
确保用户能够ssh到本地主机，并不输入密码即可访问。
首先，确保ssh已经安装，且服务器正在运行。
% sudo apt-get install ssh
然后，基于空口令创建一个新ssh密钥，以启用无密码登录。
% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
% cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
用以下指令进行测试：
% ssh localhost
如果成功，则无需键入密码。

3.格式化HDFS文件系统
% hadoop namenode -format

4.启动和终止守护进程
启动：
% start-all.sh
终止:
% stop-all.sh
可通过jps命令查看守护进程是否正在运行。
或通过Web界面：http://localhost:50030 jobtracker
http://localhost:50070 namenode

查看更多 下一篇