首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > VSTS >

用LVS在Linux上筹建负载均衡集群服务

2012-07-03 
用LVS在Linux上搭建负载均衡集群服务使用NAT方式时,director同时是一台NAT网关,它必须有一个公网IP,当收到

用LVS在Linux上搭建负载均衡集群服务

使用NAT方式时,director同时是一台NAT网关,它必须有一个公网IP,当收到请求时按照调度算法把请求转发给局域网中的某台realserver,realserver处理完请求后把结果返回给director,此时director将结果返回给 client。因为NAT方式完全依赖于director,需要d机有较强的数据吞吐,同时这也导致了d成为一个瓶颈。根据官方的文档当realserver少于20台时用NAT比较合适。

对于普通的玩家而言,很少有多台设备的。一般都只用一台PC,因此这里要使用虚拟机virtualbox,所以系统是Debian。

测试环境大致如下:

clinet: host主机 debian。
LB:virtualbox主机 debian。
RS1...n:virtualbox主机 debian。

拓扑结构为:

client??????????????????????? ---------->?????????? LB????????????? ----------->????????????????? RS1

vboxnet0 ip:192.168.56.1?????????????????? eth0 ip:192.168.56.2??????????????????????? eth0 ip:192.168.0.2

??? netmask:255.255.255.0????????????????? netmask:255.255.255.0?????????????????????? netmask:255.255.255.0

?????????????????????????????????????????????????????????????????????????????????????? gateway:192.168.0.1

?????????????????????????????????????????? eth1 ip:192.168.0.1??????????????????????????????????? RS2

?????????????????????????????????????????? netmask:255.255.255.0??????????????????????? eth0 ip:192.168.0.3

??????????????????????????????????????????????????????????????????????????????????????? netmask:255.255.255.0

??????????????????????????????????????????????????????????????????????????????????????? gateway:192.168.0.1

?????????????????????????????????????????????????????????????????????????????????????????????????? .

?????????????????????????????????????????????????????????????????????????????????????????????????? .

?????????????????????????????????????????????????????????????????????????????????????????????????? .

?????????????????????????????????????????????????????????????????????????????????????????????????? RSn

这里需要注意的事:

LB virtualbox主机启用了两块网卡,eth0在virtualbox上的模式为host-only,专门连本地机器client;eth1在virtualbox上的模式为Internal,专门跟虚拟机间的系统相联。

RS virtualbox主机启用了一块网卡,在virtualbox上的模式为Internal,专门跟虚拟机间的系统相联。

注:永久修改要修改sysctl.conf

如果想开机保证能运行,需要在/etc/rc.local添加以下内容:

/etc/init.d/ipvsadm restart //确保ipvsadm启动/etc/init.d/ipvsadm load /etc/ipvsadm.rules //加载规则echo "1" >/proc/sys/net/ipv4/ip_forward //开启ip转发 

2.分别启动web服务

这里用的是resin-3.1.9,并对resin的首页进行了修改,使得可以分清具体访问的是哪个服务器。

从上图可以看到跟上一节只用LVS做负载均衡的拓扑结构差不多,只是LoadBalancer多了一台做Backup服务器。

基于上节的实验环境,只需要增加一个虚拟机,系统和网卡跟上节的LB服务器一样,现把这服务器称为BLB服务器,其网卡IP设置如下:

eth0 ip:192.168.56.3netmask:255.255.255.0eth1 ip:192.168.0.253netmask:255.255.255.0

另外有两个特殊的IP地址是最需要注意的:

一个是整个集群对外统一使用的IP地址,我们称它为VIP(Virtual IP),这里我们假设它为192.168.56.254,所有Client都通过这个IP访问真实服务,这是可跟DNS绑定的IP。

另一个特殊的IP是RealServer的gateway默认网关,我们称为V-gate(Virtual gate),上节我们指定RealServer的gateway为192.168.0.1,其对应的是LoadBalancer服务器的IP,现在由于多了一台LoadBalancer,为了使两台LoadBalancer都可以用到这个IP,我们先把上节LB的eth1 ip改为192.168.0.254。

这两个IP会在下面的KeepAlived配置文件中配置。

通过以下指令启动LB和BLB下的keepalived服务:

/etc/init.d/keepalived start

通过以下指令可查看启动情况:

tail -f /var/log/messages

若启动成功会出现以下相似信息:

Feb 24 22:53:57 debian kernel: [  876.649352] IPVS: sync thread started: state = MASTER, mcast_ifn = eth0, syncid = 51Feb 24 22:53:58 debian Keepalived_vrrp: VRRP_Instance(VI_2) Transition to MASTER STATEFeb 24 22:53:58 debian Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATEFeb 24 22:53:59 debian Keepalived_vrrp: VRRP_Instance(VI_2) Entering to MASTER STATEFeb 24 22:53:59 debian Keepalived_vrrp: VRRP_Group(VG1) Syncing instances to MASTER STATEFeb 24 22:53:59 debian Keepalived_vrrp: VRRP_Instance(VI_1) Entering to MASTER STATE

另外通过ip a命令可反应keepalived启动成功,分别在MASTER和BACKUP上运行ip a命令,会看到192.168.56.254和192.168.0.1出现在MASTER上,而不会出现在BACKUP上。

VS/DR 的工作流程下图所示:它的连接调度和管理与VS/NAT和VS/TUN中的一样,它的报文转发方法又有不同,将报文直接路由给目标服务器。在VS/DR 中,调度器根据各个服务器的负载情况,动态地选择一台服务器,不修改也不封装IP报文,而是将数据帧的MAC地址改为选出服务器的MAC地址,再将修改后 的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器,所以服务器肯定可以收到这个数据帧,从中可以获得该IP报文。当服务器发现 报文的目标地址VIP是在本地的网络设备上,服务器处理这个报文,然后根据路由表将响应报文直接返回给客户。

用LVS在Linux上筹建负载均衡集群服务

在VS/DR中,根据缺省的TCP/IP协议栈处理,请求报文的目标地址为VIP,响应报文的源地址肯定也为VIP,所以响应报文不需要作任何修改,可以直接返回给客户,客户认为得到正常的服务,而不会知道是哪一台服务器处理的。

由于LB和RS都要在同一个物理网段上,所以基于上节的实验,IP按以下方式修改:

RS1:eth0 ip:192.168.56.4RS2:eth0 ip:192.168.56.5注:把它们的gateway都去掉。

这里需要注意的事:

LB、BLB、RS1、RS2的eth0在virtualbox上的模式都改为Bridged以便为外面的机器都能访问到。

# Configuration File for keepalived?global_defs {   #每个load balancer 都有一个不同的ID   lvs_id lvs01}?#这个是外网网段的VRRP实例vrrp_instance VI_1 {        state MASTER        interface eth0?    #每个virtual_router_id都要唯一        virtual_router_id 51?    #这个是MASTERT和BACKUP服务器竞争的优先级,习惯MASTERT大于BACKUP        priority 150?    #检测间隔,默认1s        advert_int 1?    #这是两个服务器的同步验证,有PASS和AH两种方式        authentication {                auth_type PASS                auth_pass 1111        }?    #这里指定VIP当MASTER和BACKUP切换时,这些IP会添加到相应服务器上        virtual_ipaddress {                192.168.56.254 #这个是我们上面说的VIP        #如果有多个,可以继续添加        }}?#下面添加LVS的转发规则#注意:这里的virtual_server的端口跟real_server的端口必须相同virtual_server 192.168.56.254 8080 {    delay_loop 6?    #调度规则,这里用rr指轮询方式    lb_algo rr?    #这里是负载均衡的方式,我们基于DR方式    lb_kind DR?    #这是对真实服务器健康检查的方式,这里用TCP方式    protocol TCP?    real_server 192.168.56.4 8080 {?    #真实服务器的优先级        weight 1?    #用TCP方式检查        TCP_CHECK {                connect_timeout 3 #连接超时时间        }    }?    real_server 192.168.56.5 8080 {        weight 1        TCP_CHECK {                connect_timeout 3        }    }}

BLB上的keepalived.conf文件配置:

跟LB上的配置几乎一样,只需要修改以下几点:

1.lvs_id改为lvs02

2.state改为BUCKUP

3.priority改为100,只要比MASTER小就可以。

配置RS服务器

在RS服务器上必须把VIP加到lo上,运行以下命令,或在/etc/network/interfaces文件里配置。

ifconfig lo:0 192.168.56.254 broadcast 192.168.56.254 netmask 255.255.255.255 up
测试

跟NAT模式的测试一样,不过与/proc/sys/net/ipv4/ip_forward里的值无关。

热点排行