首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

hadoop 学习进程

2013-03-04 
hadoop 学习历程首先是要知道什么是hadoop,这个东西有什么用。hadoop 是 Doug cutting 创建的 ,起源于 Apac

hadoop 学习历程

首先是要知道什么是hadoop,这个东西有什么用。

hadoop 是 Doug cutting 创建的 ,起源于 Apache Nutch,(一个网络搜索引擎),它是lucene(文本搜索系统库)的一部分。

2003年google ?发布了一遍论文:google分布式文件系统。GFS,这个可以解决在网页爬起和索引过程中的超大文件的存储需求。

2004年开始实现一个开源的实现,Nutch的分布式文件系统NDFS。

2004年google 发布了论文介绍他们的MapReduce系统

2005年Nutch实现了一个MapReduce,并且将主要的算法移植,用MapReduce+NDFS来运行。

2006年MapReduce+NDFS?被Nutch开发人员移出成为一个Lucene的子项目称为hadoop.

2008年hadoop成为了apache的顶级项目

2008年hadoop 在62秒内完成了1TB的数据的排列.


首先是要安装hadoop,我直接下的最新版本,hadoop2.0.3

系统用的是centOS6.3 ?64?

安装hadoop 的时候碰到了以下问题,

虽然centOS 是可以选择自带jdk,但是是openJDK,前辈有经验说,有用别的jdk出很多问题的,所以推荐用sun的

yum -y remove java java..... ?卸载java openjdk

安装jdk,上传jdk,二种方式,第一种ftp,第二种安装lrzsz:?yum -y install lrzsz 用secureCRT 。第二种适合个人。

安装hadoop ,一种直接wget 下载,一种上传。我选的是第一种。

热点排行