GPFS安装先说我的环境,在两台刀片机(blade)上体验gpfs(version 3.4)的安装过程。1机器配置:9.123.100.129
GPFS安装
先说我的环境,在两台刀片机(blade)上体验gpfs(version 3.4)的安装过程。
1>机器配置:
9.123.100.129 (hostname gpfsbc01b08)
cat /proc/version
Linux version 2.6.18-128.el5 (mockbuild@hs20-bc1-7.build.redhat.com) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)) #1 SMP Wed Dec 17 11:41:38 EST 2008
uname -a
Linux gpfsbc01b08.gpfs.net 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
130G硬盘(系统盘sda),2G内存(查看磁盘信息命令fdisk -l)
9.123.100.224 (hostname gpfsbc01b11)
cat /proc/version
Linux version 2.6.18-128.el5 (mockbuild@hs20-bc1-7.build.redhat.com) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)) #1 SMP Wed Dec 17 11:41:38 EST 2008
uname -a
Linux gpfsbc01b11.gpfs.net 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
130G硬盘(系统盘sda),2G内存
2>安装文件:
根据官方文旦(guide),需要先从光盘拷贝出文件,其中包含各种license,此处我使用的是已经下载好的文件,列表如下:
gpfs.20110701.base-3.4.0-7.x86_64.rpm
gpfs.20110701.docs-3.4.0-7.noarch.rpm
gpfs.20110701.gpl-3.4.0-7.noarch.rpm
gpfs.20110701.msg.en_US-3.4.0-7.noarch.rpm
3>清除之前的安装痕迹:
由于我使用的机器,之前已经有人使用过,已经安装过gpfs,所以我需要做一些卸载和清理工作。
permanently uninstall gpfs:
我现在有两台机器,每台机器上都已经安装了gpfs软件,但由于两台机器都只有系统盘,而gpfs需要独立分区来支持文件系统,所以我接下来要在这两台机器上使用dd命令来建立虚拟的磁盘(用文件模拟磁盘),在129的机器上:dd if=/dev/zero of=disk1 bs=1M count=1000 # 1Gdd if=/dev/zero of=disk2 bs=1M count=1000 # 1Gdd if=/dev/zero of=disk3 bs=1M count=1000 # 1G在244的机器上(simulate disks by empty files):dd if=/dev/zero of=disk4 bs=1M count=1000 # 1Gdd if=/dev/zero of=disk5 bs=1M count=1000 # 1G
在root目录(也就是生成上面的disk*文件的目录)下,建立文件touch nsddesc;
在129机器上的nsddesc中写入内容:
/root/disk1:gpfsbc01b08::dataAndMetadata:1:nsd1:
/root/disk2:gpfsbc01b08::dataAndMetadata:1:nsd2:
/root/disk3:gpfsbc01b08::dataAndMetadata:1:nsd3:
在244机器上的nsddesc中写入内容:
/root/disk4:gpfsbc01b11::dataAndMetadata:1:nsd4:
/root/disk5:gpfsbc01b11::dataAndMetadata:1:nsd5:
使用mmcrnsd命令:mmcrnsd -F nsddesc -v no
此时可以发现nsddesc文件的内容发生了改变,比如129的nsddesc内容如下:
[root@gpfsbc01b08 ~]# cat nsddesc
# /root/disk1:gpfsbc01b08::dataAndMetadata:1:nsd1:
nsd1:::dataAndMetadata:1::system
# /root/disk2:gpfsbc01b08::dataAndMetadata:1:nsd2:
nsd2:::dataAndMetadata:1::system
# /root/disk3:gpfsbc01b08::dataAndMetadata:1:nsd3:
nsd3:::dataAndMetadata:1::system
同样可以使用mmlsnsd -m(或mmlsnsd -X)命令查看当前nsd盘的情况
8>启动gpfs文件系统:mmstartup -a
此时可以使用mmgetstate -a命令查看当前gpfs文件系统状态
9>使用mmcrfs命令建立文件系统:建立挂载点:mkdir /gpfs
mmcrfs /gpfs gpfsdev -F nsdfile -A no -B 64K -n 30 -v no
参数含义如下:
/gpfs 文件系统 mount 点名
gpfsdev 指定文件系统 lv 名
-F 指定 NSD 的文件名
-A 自动 mount 选项为 yes
-B 块大小为64K
-n 挂载文件系统的节点估计数30个
-v 校验建立磁盘是否已有文件系统 为否
此时,可以使用cat /etc/fstab命令查看当前操作系统内的文件设备
/dev/gpfsdev /gpfs gpfs
10>挂载文件系统:mmmount gpfsdev
最后可以使用文后给出的第一个IBM技术文章中给出的示例验证gpfs文件系统的安装。
**********
中间出现的问题:
1>license接受问题
2>cluster建立时,另外连接其他机器的问题,使用-r选项开启ssh
3>nsd建立问题,使用-v no选项不检查(-v Verify the disks are not already formatted as an NSD. no就是直接覆盖原来的头部数据)
4>注意,第7和10步是需要在两台机器上都执行的,文件系统挂载后,在任何一个机器上对文件进行增删改查都可以在另外的机器上看见;mmcrfs命令的第2个参数的具体含义是所创建文件的设备名,该设备名在所有gpfs节点上均可见。
**********
参考文章链接:
http://www.ibm.com/developerworks/cn/aix/library/au-gpfs/index.html
http://wenku.baidu.com/view/a763bc4e852458fb770b56b2.html
http://www.orientsky.com.cn/_new/Read.asp?ID=1245