hadoop的安装和使用
???hadoop是目前比较流程的分布式计算平台,虽然安装和使用方法官方网站介绍的比较详细,但是其中细节还是挺多的,稍不注意就要走很多弯路,希望通过本文的介绍,大家能够在很短的时间内能将hadoop跑起来。?由于公司云梯用的是0.19.2版本的,所以下面就以这个版本为例,而没有采用目前最新的0.21版本。
? hadoop官方网站地址:http://hadoop.apache.org
?
?? 可以用以下三种支持的模式中的一种启动Hadoop集群:
?? ?单机模式
?? ?伪分布式模式
?? ?完全分布式模式
??? 单机和伪分布模式只需要一台机器就可以完成,下面我们先来学习这两种模式。
???? hadoop目前只有linux版本,所以你需要一台linux系统的服务器,可以跟我一样用虚拟机,而且需要先安装好jdk。我的服务器版本是centos 5.6,自己将jdk安装到了/usr/java/jdk1.6.0_25。下面我们来下载并配置hadoop运行环境。
??
? 1.单机模式
??? 我这台机器的ip地址是:192.168.218.128,为了方便,我将这台机器的hostname改成了hd128,这样以后需要配置的地方都是用hd128了,修改方法是编辑文件/proc/sys/kernel/hostname。然后修改下hosts文件,将 192.168.218.128 hd128也加入进来吧。为了方便,将所用的windows机器hosts也添加下这个配置,因为以后要用浏览器访问hadoop的服务,查看hadoop的运行状况。
???? 注意:下面配置中涉及到hd128的地方,你需要修改成你自己相应的配置。
??
?
??? 等map-reduce程序运行完毕,我们在hdfs文件系统上看看程序的运行结果:
?
?
?? http://hd128:50030
?
?
到此为止,hadoop的安装和基本的用法就介绍完了。其实我也是新手,如果哪里说的不对,欢迎拍砖。