首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

hadoop的装配和使用

2012-11-05 
hadoop的安装和使用???hadoop是目前比较流程的分布式计算平台,虽然安装和使用方法官方网站介绍的比较详细,

hadoop的安装和使用

???hadoop是目前比较流程的分布式计算平台,虽然安装和使用方法官方网站介绍的比较详细,但是其中细节还是挺多的,稍不注意就要走很多弯路,希望通过本文的介绍,大家能够在很短的时间内能将hadoop跑起来。?由于公司云梯用的是0.19.2版本的,所以下面就以这个版本为例,而没有采用目前最新的0.21版本。

? hadoop官方网站地址:http://hadoop.apache.org

?

?? 可以用以下三种支持的模式中的一种启动Hadoop集群:
?? ?单机模式
?? ?伪分布式模式
?? ?完全分布式模式

??? 单机和伪分布模式只需要一台机器就可以完成,下面我们先来学习这两种模式。
???? hadoop目前只有linux版本,所以你需要一台linux系统的服务器,可以跟我一样用虚拟机,而且需要先安装好jdk。我的服务器版本是centos 5.6,自己将jdk安装到了/usr/java/jdk1.6.0_25。下面我们来下载并配置hadoop运行环境。

??

? 1.单机模式

??? 我这台机器的ip地址是:192.168.218.128,为了方便,我将这台机器的hostname改成了hd128,这样以后需要配置的地方都是用hd128了,修改方法是编辑文件/proc/sys/kernel/hostname。然后修改下hosts文件,将 192.168.218.128 hd128也加入进来吧。为了方便,将所用的windows机器hosts也添加下这个配置,因为以后要用浏览器访问hadoop的服务,查看hadoop的运行状况。
???? 注意:下面配置中涉及到hd128的地方,你需要修改成你自己相应的配置。

?? hadoop的装配和使用

?

??? 等map-reduce程序运行完毕,我们在hdfs文件系统上看看程序的运行结果:

?

?

?? http://hd128:50030

?hadoop的装配和使用

?

到此为止,hadoop的安装和基本的用法就介绍完了。其实我也是新手,如果哪里说的不对,欢迎拍砖。

热点排行