首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

hadoop入门_002 - Hadoop下载跟安装

2012-06-26 
hadoop入门_002 - Hadoop下载和安装之前我们用虚拟机安装了linux,很多书和资料上都提出了可以用伪分布以及

hadoop入门_002 - Hadoop下载和安装
      之前我们用虚拟机安装了linux,很多书和资料上都提出了可以用伪分布以及采用在windows下用cygwin的方式去搭建hadoop环境。首先伪分布的方式,我觉得完全没有必要去搭建,因为在实际的项目中也不可能用这种方式,另外它也不利于我们的学习。第二cygwin的方式,我强烈建议大家不要用这种方式安装。很多人觉得一开始用虚拟机会比较麻烦,不愿意安装虚拟机。如果你采用cygwin的方式的话,会遇到很多很多莫名其妙的错误。而且有些根本没法解决,在前期搭建环境的时候就会消耗你很多的时间去解决这些莫名奇妙的问题,而且还会打击到你学习的积极性。怎么说呢,时间也算是学习的成本吧,所以还是分享一点个人的经验,以免大家少走弯路。
  这里我们采用最快的方式先把hadoop环境搭建起来。其实我觉得学习编程最好的方式就是先把例子跑起来,先写好第一个hello word。具体细节之后才去详细分析。所以,这里我还是采用这种方式。先以最快的速度搭起来,其中具体的细节和知识点,我们以后有机会再做分析。
 
    一 . 安装准备
   
    1 . 下载hadoop,去官网下载。http://www.apache.org/dist/hadoop/core/
hadoop版本更新也非常的快现在已经到了2.0.0的测试版本。但是我们这里还是建议下载0.20.2这个版本的。选择这个版本原因之一是它非常的稳定,其二现在绝大多数企业中都是采用的这个版本,我们公司也不例外,另外就是这个版本的资料相对较多,大家遇到问题的时候也好寻找解决方案。

    2 . 下载jdk,我这里选择的版本是 jdk-6u32-linux-i586.bin.还是给比较懒的同学们发一下下载链接 http://www.oracle.com/technetwork/java/javase/downloads/index.html

    3 . 操作系统采用32位的 CentOS 这也是企业中用的比较多的。最主要的原因我想是因为他免费吧。前面我们已经安装好了虚拟机。

    4 . 物理机。这里我们的条件不具备,因此我们只能通过虚拟机才学习。 效果是一样的。

    二 . Cloudera
 
    1 . 本来打算后面的实战篇介绍的,这里还是顺带提一下Cloudera,其实这个公司他的定位其实就是把hadoop标准化,他将hadoop源码进行了修改,让其配置标准化以达到更方便的帮助企业安装,配置,运行hadoop以达到大规模企业数据的处理和分析。Cloudera的Hadoop配置和HBase,Hive,Pig等有良好的接口,使得这些软件的安装,配置和使用的成本降低并且进行了标准化。其实在我们实际的项目中采用的就是Cloudera系列的产品,主要原因就是他可以很方便的和我们的HBase,Hive等进行整合。
   官网:https://www.cloudera.com
   使用版本:hadoop-0.20.2-cdh3u2.tar.gz
   下载地址:http://archive.cloudera.com/cdh/3/

(写半天不小心关掉了。一大版文字又要重新写了。建议iteye还是出个自动保存功能。555.)

    三 . jdk的安装和配置

    1 . 我们用的jdk的版本是 jdk-6u32-linux-i586.bin ,大家自行去sun的官方现在,当然现在是oracle.然后用filezllia讲安装包上传到我们的linux上。所有的节点都上传,也就是我们安装的linux虚拟机。这里大家可以根据自己的机器情况安装多个slave节点。因为我机器的空间原因只安装了1个master和1个slave,学习的话其实多少个slave都是一样只要了解原理就可以了。我们将jdk上传到/usr目录下。并且赋予执行的权限 chomod 777 jdk-6u32-linux-i586.bin,然后./jdk-6u32-linux-i586.bin执行安装包。
  然后我们需要配置我们的java环境变量,同样每台节点都需要配置。

 很详细 

热点排行