首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

两台 Ubuntu 机器兑现 Hadoop 集群

2012-11-10 
两台 Ubuntu 机器实现 Hadoop 集群实验环境:一台是 Ubuntu 10.04 机器,另一台是安装在 Windows XP 下通过

两台 Ubuntu 机器实现 Hadoop 集群

实验环境:一台是 Ubuntu 10.04 机器,另一台是安装在 Windows XP 下通过 Vmware Server 的虚拟机,该系统也是 Ubuntu 10.04。可以利用 LVM 的“快照”功能实现数据备份。

?

1.? 实现 Hadoop 集群时,用到以下这些软件:

Ubuntu Linux 10.04 LTS, 8.10, 8.04 LTS, 7.10, 7.04 (9.10 and 9.04 should work as well) Hadoop 0.20.2, released February 2010 (also works with 0.13.x - 0.19.x)Sun JDK 6 6u21(1.6.21), 安装 JDK 详细步骤(该页面的 PDF 文件已上传到附件)。如在服务器上,我们只需安装 Sun JRE 6u21 即可。注意,jdk-6u21-linux-i586.bin 需通过 VPN 才能下载;OpenSSH Server,在 Ubuntu 中输入 sudo apt-get install openssh-server 即可安装Rsync

使用 PuTTy 的 scp 功能实现文件传输

C:\Documents and Settings\Huagang Li>pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323-scp "E:\Software\Linux Server\JDK\jdk-6u21-linux-i586.bin" lewis@192.168.1.198:/home/lewis/jdk-6u21-linux-i586.bin   | 81889 kB | 3899.5 kB/s | ETA: 00:00:00 | 100%pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323 -scp "H:\Search Engine\Open Source\hadoop-0.21.0.tar.gz" lewis@192.168.1.199:/home/lewis/

?

注意:利用 Vmware Server 在 Windows XP 上安装 Ubuntu 10.04 完成后,记得执行以下命令,不然安装软件时出现 LC_ALL = (unset) 错误:

# 前提是 /etc/default/locale 文件的内容为(不包括 # 号):# LANG="en_US.UTF-8"# LANGUAGE="en_US:en"sudo locale-gen en_US.UTF-8
?

?

2.? 配置 Hadoop 信息请浏览参考资料一

?

?

参考资料

    Running Hadoop On Ubuntu Linux (Multi-Node Cluster)

    Running Hadoop On Ubuntu Linux (Single-Node Cluster)用 Hadoop 进行分布式数据处理使用 Linux 和 Hadoop 进行分布式计算

热点排行