hadoop 札记

hadoop 笔记

hadoop博客地址：

http://langyu.iteye.com/category/177430

?

Shuffle，奇迹发生的地方，mapreduce的核心：

http://langyu.iteye.com/blog/992916

?

2、hadoop执行hdfs命令报错：?ipc.Client: Retrying connect to server:

原因是：hadoop默认配置是把一些tmp文件放在/tmp目录下，重启系统后，tmp目录下的东西被清除，所以报错
??? 解决方法：在conf/core-site.xml （0.19.2版本的为conf/hadoop-site.xml）中增加以下内容
?? <property>
?? <name>hadoop.tmp.dir</name>
?? <value>/var/log/hadoop/tmp</value>
? <description>A base for other temporary directories</description>
? </property>
? 重启hadoop后，格式化namenode即可

3、

通过 http://master node的主机名或IP：50030 可以链接到JobTracker

通过 http://master node的主机名或IP：50070 可以链接到NameNoe