首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

在Ubuntu下装Hadoop

2012-07-15 
在Ubuntu上装Hadoop在装Hadoop之前首先需要:1.java1.6.x 最好是sun的,1.5.x也可以2.ssh安装ssh? # The jav

在Ubuntu上装Hadoop

在装Hadoop之前首先需要:

1.java1.6.x 最好是sun的,1.5.x也可以

2.ssh

安装ssh

?

# The java implementation to use. Required. # export JAVA_HOME=/usr/lib/j2sdk1.5-sun

?

?修改成java的安装目录:(我的是:/usr/lib/jvm/java-6-sun-1.6.0.15)

?

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration> <property><name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-datastore/hadoop-${user.name}</value> </property> <property><name>fs.default.name</name><value>hdfs://localhost:9000</value> </property></configuration>

?

?hadoop.tmp.dir配置为你想要的路径,${user.name}会自动扩展为运行hadoop的用户名

?

conf/hdfs-site.xml

?

<configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property></configuration>

?

?dfs.replication为默认block复制数量

conf/mapred-site.xml

?

<configuration>  <property>    <name>mapred.job.tracker</name>    <value>localhost:9001</value>  </property></configuration>

?

?执行

?

格式化分布式文件系统:

?

$ bin/start-all.sh

?

?可以从

?

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

?

?查看NameNode和JobTracker

?

运行例子:

?

?

$ bin/hadoop fs -put conf input$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

?

look at the run result:

$ bin/hadoop fs -get output output
$ cat output/*?

?

参考:1、http://hadoop.apache.org/common/docs/current/quickstart.html
2、http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29 1 楼 xuedi_manbu 2011-08-31   请问Ubuntu选择哪个版本?比如Ubuntu 10.4,也有很多版本,应该选择哪个? 2 楼 chenwq 2011-10-19   xuedi_manbu 写道请问Ubuntu选择哪个版本?比如Ubuntu 10.4,也有很多版本,应该选择哪个?
都可以,最近的一次我在3台11.04上配置了。
但是最近又有新版本的Ubuntu出来啦~

热点排行