负载均衡-LVS+Keepalived高可用

  • A+
所属分类:网络技术

今天我们开始LVS + Keepalived + Nginx的安装及配置。

准备工作

本文采用LVS + Keepalived + Nginx的方式构建高可用的LVS负载均衡层。

我们采用两个LVS节点(172.16.200.1和172.16.200.2),但是一个时间工作的只有一个LVS节点,另一个始终处于热备standby状态,由keepalived监控这两个节点的工作状态并完成切换。

在LVS节点下,我们采用LVS-DR工作模式挂载了两个Nginx节点(172.16.200.3、172.16.200.4)。并最终将外网请求交由这两个节点进行处理。

注意:在实际工作中,Nginx下面一般就是访问静态资源、动态资源的配置了。

LVSMaster:172.16.200.1

LVSSlave:172.16.200.2

RealServerA:172.16.200.3

RealServerB:172.16.200.4

VIP:172.16.200.5

组网拓扑如下:

负载均衡-LVS+Keepalived高可用

KeepAlived两个节点准备

首先我们在将要安装LVS的两个节点上,先安装keepalived,并保证这两个keepalived节点能够正常工作(监控节点的状态)。当然,您也可以先准备LVS,再准备keepalived。

这里我们先准备keepalived、准备keepalived的整个过程包括(也可以参考上一篇博文点击打开:这里我们再重新安装一次):

  1. 安装必要的支撑组件,源码安装keepalived
  2. 将keepalived注册成节点的服务,以便保证keepalived在节点启动时就开始工作
  3. 更改keepalived的配置文件,让其可以正常工作
  4. 验证准备工作

1、安装keepalived

yum install -y zlib zlib-devel gcc gcc-c++ openssl openssl-devel openssh

tar -zxvf keepalived-2.0.19.tar.gz

cd keepalived-2.0.19

./configure --prefix=/usr/keepalived-2.0.19

make & make install

2、将keepalived注册成服务

cp /usr/keepalived-2.0.19/etc/sysconfig/keepalived  /etc/sysconfig/keepalived

cp /usr/keepalived-2.0.19/sbin/keepalived  /usr/sbin/keepalived

cp /usr/keepalived-2.0.19/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/keepalived

mkdir /etc/keepalived

cp /usr/keepalived-2.0.19/etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf

chkconfig keepalived on

 

3、修改KeepAlived配置文件((配置文件在:/etc/keepalived/keepalived.conf))

! Configuration File for keepalived

global_defs {
#notification_email {
# acassen@firewall.loc
# failover@firewall.loc
# sysadmin@firewall.loc
#}
#notification_email_from Alexandre.Cassen@firewall.loc
#smtp_server 192.168.200.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance VI_1 {
#172.16.200.1节点设置为MASTER,172.16.200.2或者还有其他的节点设置为BACKUP
#还记得我们前面文章讲到的无抢占设置吗?这里也可以用哦。
state MASTER
#网络适配器名称
interface eth0
virtual_router_id 51
#所有的SLAVE节点的优先级都要比这个设置值低
priority 100
advert_int 1
#真实ip,172.16.200.1要改成相应的lvs节点真实ip
mcast_src_ip=172.16.200.1
authentication {
auth_type PASS
auth_pass 1111
}
#虚拟/浮动IP
virtual_ipaddress {
172.16.200.5
}
}

以上配置还是最简单的keepalived配置,因为我们还没有加上配合LVS使用的虚拟ip监测设置和下层真实ip监测的设置。最简配置主要是为了保证keepalived节点是工作正常的。

注:将以上的配置分别对应到LVS的两个节点(注意要改动的地方哦)

通过systemctl start keepalived命令启动 keepalived 。

现在设置为MASTER的keepalived节点(或者在非抢占模式下,优先级最高的那个节点),已经绑定了172.16.200.5这个虚拟ip了:

负载均衡-LVS+Keepalived高可用

当然您也可以通过 /var/log/message的日志进行keepalived是否正常工作的验证。

 

LVS两个节点准备

通过yum -y install ipvsadm命令安装LVS节点(ipvsadm主要参数可以参考文章:点击打开)。

 

Nginx节点准备

Nginx节点的准备工作主要由以下步骤构成(这个不是本文的重点,点到即可):

1、安装Nginx(当然,正式系统中,还涉及到Nginx的参数调优,可以参见文章:点击打开

yum -y install make zlib zlib-devel gcc gcc-c++ ssh libtool

下载nginx

解压nginx

./configure –prefix=/usr/nginx

make && make install

设置环境变量

启动nginx

2、打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

3、将VIP:172.16.200.5 设置成Nginx所在节点的回环IP

临时设置方法如下:

ifconfig lo:0 172.16.200.5 broadcast 172.16.200.5 netmask 255.255.255.255 up

route add -host 172.16.200.5 dev lo:0

注:永久设置回环IP方法请自行百度。

两台Nginx的节点都按照这样的方法去设置。然后使用浏览器,看看这两个节点的Nginx是否工作正常:

负载均衡-LVS+Keepalived高可用

负载均衡-LVS+Keepalived高可用

配置LVS-DR工作模式

首先我们要更改之前配置的“最简keepalived”配置,让keepalived能够对结构中所有节点和虚拟ip的健康状态进行监测。更改配置和含义如下:

! Configuration File for keepalived

global_defs {
#notification_email {
# acassen@firewall.loc
# failover@firewall.loc
# sysadmin@firewall.loc
#}
#notification_email_from Alexandre.Cassen@firewall.loc
#smtp_server 192.168.200.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance VI_1 {
#172.16.200.1节点设置为MASTER,172.16.200.2或者还有其他的节点设置为BACKUP
#还记得我们前面文章讲到的无抢占设置吗?这里也可以用哦。
state MASTER
#网络适配器名称
interface eth0
virtual_router_id 51
#所有的SLAVE节点的优先级都要比这个设置值低
priority 100
advert_int 1
#真实ip,172.16.200.1要改成相应的lvs节点真实ip
mcast_src_ip=172.16.200.1
authentication {
auth_type PASS
auth_pass 1111
}
#虚拟/浮动IP
virtual_ipaddress {
172.16.200.5
}
}

virtual_server 172.16.200.5 80 {
#健康时间检查,单位秒
delay_loop 6
#负载均衡调度算法wlc|rr,和您将使用的LVS的调度算法保持原则一致
lb_algo rr
#负载均衡转发规则 DR NAT TUN。和您将启动的LVS的工作模式设置一致
lb_kind DR
#虚拟地址的子网掩码
nat_mask 255.255.255.0
#会话保持时间,因为我们经常使用的是无状态的集群架构,所以这个设置可有可无
#persistence_timeout 50
#转发协议,当然是TCP
protocol TCP

#真实的下层Nginx节点的健康监测
real_server 172.16.200.3 80 {
#节点权重,
weight 10
#设置检查方式,可以设置HTTP_GET | SSL_GET
HTTP_GET {
url {
path /
digest ff20ad2481f97b1754ef3e12ecd3a9cc
}
#超时时间,秒。如果在这个时间内没有返回,则说明一次监测失败
connect_timeout 3
#设置多少次监测失败,就认为这个真实节点死掉了
nb_get_retry 3
#重试间隔
delay_before_retry 3
}
}

real_server 172.16.200.4 80 {
weight 10
HTTP_GET {
url {
path /
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

这样一来,keepalived就可以检查整个架构中的所有节点状态了。另外要说明的是,这个检查过程并不是必须的,您使用keepalived的最简配置也是可以的,不过您就需要自己写监测脚本了(道理是一样的)

 

启动LVS节点

ipvsadm -C

ipvsadm -At 172.16.200.5:80 -s rr

ipvsadm -at 172.16.200.5:80 -r 172.16.200.3 -g

ipvsadm -at 172.16.200.5:80 -r 172.16.200.4 -g

ipvsadm

注意:处于standby的lvs1节点也要这样进行设置。以上的LVS的设置,和real server上的设置,在重启后都会消失,所以一定要做成脚本哦。

 

配置验证

至此LVS+keepAlived+nginx的配置就结束了、我们可以验证一下配置是否正确、我们使用两个不同的浏览器,验证Master-LVS节点的工作:

浏览器1:

负载均衡-LVS+Keepalived高可用

浏览器2:

负载均衡-LVS+Keepalived高可用

看来172.16.200.5这个VIP下的LVS工作是正常的。

 

KeepAlived停止配置验证

下面我们停止Master的KeepAlived服务、在经历了一些访问停顿后,浏览器1显示的效果如下(这就是为什么keepalived最好设置为非抢占模式):

负载均衡-LVS+Keepalived高可用

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: