Keepalived高可用LVS反向代理服务器

Keepalived是什么?

Keepalived是VRRP在Linux上的一种实现,以守护进程方式运行。
能够更具配置文件自动生成ipvs规则并对各个RS做健康状态监测。

VRRP:Virtual Router Redundancy Protocol,也叫做虚拟路由冗余协议。
他的原理是将多个设备组成一个虚拟路由器。
这些设备之间会通过VRRP协议传递心跳信息以检测设备是否已经故障。
他早期用于网络设备冗余,防止单点故障。
其实通俗来说,就是设备的热备份。
在故障产生的时候,可以省去人为地切换,减少故障时间。

使用Keepalived之前我们需要掌握的知识

常用实现方案:

主备模型:
将多个服务器配置成 一个虚拟路由器,一主多备。
主主模型:
组成多个虚拟路由器,提供多个服务。
虽然本质上都是一主多备,但是角色分配不一样。

主备之间的工作模式:

抢占模式:优先级。
一开始定义成Master,优先级低还是会被抢走。
非抢占模式:先到先得
服务器之间不会根据优先度动态竞选成Master”
除非本王死了,要不然你一辈子都是太子“那种感觉。

Keepalived中的术语:

VRID:虚拟路由器的标识。有相同 VRID 的一组路由器构成一个虚拟路由器。
虚拟 MAC 地址:一个虚拟由器拥有一个虚拟 MAC 地址。
虚拟 MAC 地址的格式为 00-00-5E-00-01-{VRID}。
通常情况下,虚拟路由器回应 ARP 请求使用的是虚拟 MAC 地址,
只有虚拟路由器做特殊配置的时候,才回应接口的真实 MAC 地址。
优先级:VRRP 根据优先级来确定虚拟路由器中每台路由器的地位。
优先级是0-255之间的数值,数字越大优先级越高

VRRP工作过程:

1.选出一个主路由器:看优先级;优先级一样就看ip,谁大谁是Master。
2.发送arp欺骗的IP报文,通知其连接的设备,并开始承担报文转发的任务。
3.周期性发送心跳信息、优先级、还有工作状况。
因为不可能同时将同一个对外的IP地址配置在两台路由器上面。
所以要arp欺骗报文,告诉对方自己的MAC地址给ARP表。

配置Keepalived高可用LVS反向代理后端Web服务器

实验拓扑:

KeepAlived

主机名 主机地址 安装组件
node1 192.168.2.201,192.168.2.221 Keepalived
node2 192.168.2.202,192.168.2.222 Keepalived
node3 192.168.2.203 Apache
node4 192.168.2.204 Apache

本文中的服务器使用CentOS7.1,Keepalived-1.2.13
服务器均关闭iptables和selinux

注意:
这里我们node1和node2为什么要设置两个ip?
因为你试想只有一个ip的话,当node1发生故障,ip转移到node2的时候,我们怎么访问node1?
所以192.168.2.201用作固定访问用,实际环境中可以是内网ip地址。
而192.168.2.221则视为keepalived可以转移的公网ip。
(1)node1和node2安装keepalived和ipvsadm
  [root@node1 ~]# yum install ipvsadm keepalived 
  [root@node2 ~]# yum install ipvsadm keepalived 
(2)修改网络配置
[root@node1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

TYPE=Ethernet
BOOTPROTO="static"
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
NAME=eno16777736
DEVICE=eno16777736
ONBOOT=yes
IPADDR="192.168.2.201"
NETMASK="255.255.255.0"
DNS1="192.168.2.1"
GATEWAY="192.168.2.1"

[root@node1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736:0

TYPE=Ethernet
BOOTPROTO="static"
NAME=eno16777736:0
ONBOOT=yes
IPADDR="192.168.2.211"
NETMASK="255.255.255.0"
DNS1="192.168.2.1"
GATEWAY="192.168.2.1"
ONPARENT=yes

[root@node1 ~]# service network restart

[root@node1 ~]# ifconfig 
eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.201  netmask 255.255.255.0  broadcast 192.168.2.255
        inet6 fe80::250:56ff:fe3c:d757  prefixlen 64  scopeid 0x20<link>
        ether 00:50:56:3c:d7:57  txqueuelen 1000  (Ethernet)
        RX packets 125436  bytes 31500491 (30.0 MiB)
        RX errors 0  dropped 6  overruns 0  frame 0
        TX packets 234981  bytes 17023789 (16.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eno16777736:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.2.211  netmask 255.255.255.0  broadcast 192.168.2.255
        ether 00:50:56:3c:d7:57  txqueuelen 1000  (Ethernet)


(3)修改keepalived配置(全局配置段和主机配置段)
[root@node1 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
        root@localhost
   }
   notification_email_from keepalived@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_HOST1
}

vrrp_instance VI_1 {
    state MASTER
    interface eno16777736
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.2.221/24 dev eno16777736 label eno16777736:1
    }
}


vrrp_instance VI_2 {
    state BACKUP
    interface eno16777736
    virtual_router_id 52
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 2222
    }
    virtual_ipaddress {
        192.168.2.222/24 dev eno16777736 label eno16777736:2
    }
}
注意:
1.node2的配置中
  将VI_1的改为priority 99,state BACKUP,
  将VI_2的改为priority 100,state MASTER!!!
也就是说,
  VI_1中,node1的优先度是100的MASTER,node2则是优先度99的BACKUP
  VI_2中,node1的优先度是99的BACKUP,node2则是优先度是100的MASTER
2.这里一个VI就是一个虚拟路由器,所以这里有两个VI,所以组成了两个虚拟路由器。
这样是为了可以实现双主,不会让备份主机处于空闲而造成浪费。

在这一步完成之后,我们就可以先保存一下,然后重启Keepalived服务了。
因为是第一次,我们先分开来配置,不用到时候配置了LVS的参数再重启。
这样更加容易排错。要不然,lvs的配置有错误,这里的配置也有错误,就很混乱。

此时检验keepalived是否工作正常的方法:
通过关闭node1上面的keepalived,看看192.168.2.221会不会转移到node2上面。
同样,关闭node2上面的keepalived,看看node2的ip192.168.2.222会不会转移到node1上。

(3)还是同一个配置文件,这次修改LVS相关配置(LVS配置段)。
virtual_server 192.168.2.221 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    protocol TCP

    sorry_server 127.0.0.1 80

    real_server 192.168.2.203 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }

    real_server 192.168.2.204 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

virtual_server 192.168.2.222 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    protocol TCP

    sorry_server 127.0.0.1 80

    real_server 192.168.2.203 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }

    real_server 192.168.2.204 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

                                                                  

这个配置主要用于自动生成lvs规则。
这里定义了两个lvs的Director规则,每个VirtualServer后面都定义RealServer。
这里我们做了一个双主的模型,也就是lvs1和lvs2都工作。
假如lvs1故障,lvs1的ip就会转移到lvs2上。
假如lvs2故障,lvs1的ip就会转移到lvs1上。

重启keepalived之后查看效果(node1)
[root@bc ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.221:80 rr 
  -> 192.168.2.203:80             Route   1      0          0         
  -> 192.168.2.204:80             Route   1      0          0         
TCP  192.168.2.222:80 rr 
  -> 192.168.2.203:80             Route   1      0          0         
  -> 192.168.2.204:80             Route   1      0          0  

此时node1只有192.168.2.221的ip,所以只有上面的生效。

(4)node3和node4的配置

我们将它写成一个脚本,目标是为了将LVS1的VIP和LVS2的VIP分别配置在lo:0和lo:1上面
接受start参数的时候,做arp限制;接受stop参数的时候,取消限制。
这样做是为了,当两个VIP都切换过来的时候,可以进行响应。

[root@node3 ~]# vim RealServer.sh 

#!/bin/bash

usage(){
        echo "This Script is design for setting the arp argument for lvs-dr RealServer"
        echo "Usage:`basename $0` start|stop"
}

case $1 in
        start)
                echo "1" > /proc/sys/net/ipv4/ip_forward
                echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
                echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
                echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
                ifconfig lo:0 192.168.2.221/32 broadcast 192.168.2.221 up
                ifconfig lo:1 192.168.2.222/32 broadcast 192.168.2.222 up
                route add -host 192.168.2.221 dev lo:0
                route add -host 192.168.2.222 dev lo:1
                ;;
        stop)
                echo "0" > /proc/sys/net/ipv4/ip_forward
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
                ifconfig lo:0 192.168.2.221/32 broadcast 192.168.2.221 down
                ifconfig lo:1 192.168.2.222/32 broadcast 192.168.2.222 down
                route del -host 192.168.2.221 dev lo:0
                route del -host 192.168.2.222 dev lo:1
                ;;
        *)
                usage
                ;;
esac

(5)测试方法

由于这一步十分难做演示,所以说一下主要的步骤。
当node1使用systemctl stop keepalived.service的时候,
使用192.168.2.221会转移到node2,浏览器依然可以使用192.168.2.221访问node3和node4
同时使用192.168.2.222依然可以访问node3和node4,不影响node2的正常运作。

当node2使用systemctl stop keepalived.service的时候,
使用192.168.2.221依然可以访问node3和node4,不影响node1的正常运作。
同时192.168.2.222此时会转移到node1,浏览器依然可以使用192.168.2.221访问node3和node4

所以你怎么刷,或者关掉任意一个LVS,都可以用192.168.2.221和192.168.2.222这两个ip访问后端两台主机。

注意:
因为这里为了显示效果,使用了IP访问。使用IP访问的时候,假如有多台虚拟主机,一定会默认访问第一个。
上面的Keepalived配置的ACTIVE/ACTIVE模式,一般是httpd配置放两个虚拟主机网站。

这样用域名访问网站的时候,假如指向同一个IP的时候,也能显示不同的网站。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容