[hadoop] 筹建自己的hadoop集群

[hadoop] 搭建自己的hadoop集群
1>  准备工作
       a>  五台centos6.2虚拟机,配置主机名、IP地址、yum源、
              192.168.68.201  master01
              192.168.68.202  master02
              192.168.68.203  slave01
              192.168.68.204  slvae02
              192.168.68.205  slave03   
       b>  准备所需要的软件包
              jdk-6u26-linux-x64-rpm.bin 
              hadoop-0.20.2.tar.gz
2> 配置我自己的hadoop 集群
      a>  修改5台机器的hosts文件

            ＃vim /etc/hosts           

      #scp -r hadoop-0.20.2 root@master02:/root/      #scp -r hadoop-0.20.2 root@slave01:/root/      #scp -r hadoop-0.20.2 root@slave02:/root/      #scp -r hadoop-0.20.2 root@slave03:/root/

     
3>  启动hadoop集群
       a>  在master01上格式化hdfs系统
              #./hadoop-0.20.2/bin/hadoop namenode -format  
       b>  在master01上启动hdfs系统  ,执行jps查看启动的进程 
              #./hadoop-0.20.2/bin/start-dfs.sh

              #jps

                1872 Jps

                1654 NameNode

      c>  在master02上启动MapReduce，执行jps查看启动的进程
             #./hadoop-0.20.2/bin/start-mapred.sh

             #jps   

               1956 Jps
               1737 SecondaryNameNode
               1895 JobTracker

      d>  查看slave01上启动的进程

             #jps

               2418 Jps
               1758 TaskTracker
               1827 DataNode

查看更多 下一篇