LVS+keepalived负载均衡架构

学习视频地址

https://www.bilibili.com/video/av18406086/?from=search&seid=15398035024605283014

1. LVS定义

  1. LVS,Linux Virtual Server,linux虚拟服务器。
    LVS实现负载均衡的原理:用户请求LVS的VIP(Virtual IP),LVS根据转发方式和算法将请求发送个后端服务器,后端服务器返回response给用户。
    VS/NAT,VS/TUN和VS/DR技术,是LVS将请求转发的三种方式。

LVS/NAT原理:这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时(请求的目的IP为VIP),根据调度算法决定将请求发送给哪个后端的真实服务器(RS)。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址(RIP),这样真实服务器(RS)就能够接收到客户的请求数据包了。真实服务器响应完请求后,查看默认路由(NAT模式下我们需要把RS的默认路由设置为LB服务器。)把响应后的数据包发送给LB,LB再接收到响应包后,把包的源地址改成虚拟地址(VIP)然后发送回给客户端。(两次请求经过director,所以访问量大的话,director会成为瓶颈)网上教程有个说法,realserver不得超过20台,不然性能很低。

LVS/DR原理:用户请求LVS到director服务器,director将请求报文的目的MAC地址改为后端realserver的MAC地址,目标ip为vip(不变),然后Director将报文发送给realserver,realserver检查目标为自己本地ip,如果同一网段,请求直接返回,如果不在同一网段,则直接通过网关返回,无需再经过director。如下图所示


image.png

LVS/TUN原理:为了解决这个问题,调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文,由于一般网络服务应答数据比请求报文大很多,采用VS/TUN模式后,集群系统的最大吞吐量可以提高10倍。

参考资料:
LVS三种工作模式详解

2. LVS相关概念:

1)LVS:Linux虚拟服务器,是一个虚拟的服务器集群系统,一个自由软件项目。
2)ipvs:如果操作系统集成了LVS,那么可以在系统内核中发现ip_vs选项。如下图所示

屏幕快照 2018-03-16 23.04.48.png

3)ipvsadm:这是个对ipvs模块的命令行管理工具。正常情况下,我们要配置操作lvs,都要用到它。
4)ifconfig中四个地址的概念:
ifconfig中lo,eth0,br0,wlan0接口

lo 回环接口
eth0 以太网接口
br0 网桥接口
wlan0 无线接口
5)RS:文中常见RS意思是realserver
6)Lvs的调度算法决定了如何在集群节点之间分布工作负荷,最常见以下四种:
rr:轮询算法,它将请求依次分配给不同的rs节点,也就是RS节点中均摊分配。这种算法简单,但只适合于RS节点处理性能差不多的情况
lc:最小连接数调度(least-connection),IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS.
wrr:加权轮训调度,它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务,并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
wlc:加权最小连接数调度,假设各台RS的全职依次为Wi,当前tcp连接数依次为Ti,依次去Ti/Wi为最小的RS作为下一个分配的RS
不常见还有:
lblc:基于地址的最小连接数调度(locality-based least-connection):将来自同一个目的地址的请求分配给同一台RS,此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS,并以它作为下一次分配的首先考虑。
dh:目的地址哈希调度(destination hashing)以目的地址为关键字查找一个静态hash表来获得需要的RS
sh:源地址哈希调度(source hashing)以源地址为关键字查找一个静态hash表来获得需要的RS

7)arp抑制:lvs/dr模式,rs服务器必须配置。

3. LVS操作,实现lvs/dr模式负载均衡

假设服务器如下图所示:


屏幕快照 2018-03-16 21.12.03.png

1)下载ipvsadm管理工具


确认ipvs存在

下载ipvsadm管理工具

2)LVS管理工具安装后,首先添加服务ip和端口,然后添加realserver后端服务
ipvsadm -A -t 192.168.111.188:80 -s rr
ipvsadm -a -t 192.168.111.188:80 -r 192.168.111.130:80 -g -w 2
ipvsadm -a -t 192.168.111.188:80 -r 192.168.111.131:80 -g -w 2

3)一般服务重启后,之前配置的ipvsadm就无效了,所以保存配置方法如下



4)假设使用lvs/dr模式
配置lb服务器vip:

ifconfig eth0:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev eth0:0

配置RS服务器vip:
执行一个预先写好的脚本,参考如下:

#!/bin/bash
# 注意dr模式下VIP必须是相同的值,如案例中的192.168.111.118
VIP=$2
case "$1" in
start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    sysctl -p >/dev/null 2>&1
    echo ' RealSever Start '
    exit 0
    ;; 
stop)
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 down
    route del  $VIP >/dev/null 2>&1
    ;; 
*)
    echo "Tips:$0{start|stop}"
    ;;
esac

5)在另一台机器上,如图片中的192.168.111.129-backup服务器,同样配置lvs,但是并不设置vip,但是很遗憾,得手动切换,才行,为解决此问题,形成高可用集群,请使用keepalived。

5.keepalived定义

1)keepalived是一个类似于layer3, 4 & 7交换机制的软件,它分别通过ip,port,url三种3,4,7层检查的方式,确认服务器,服务的可用性,动态从集群中增加删除服务器。

6.keepalived相关概念

1)VRRP:虚拟路由冗余协议,keepalived是VRRP技术的完美实现。他的诞生是为了解决路由器单点故障问题

7.lvs+keepalived实现负载均衡的高可用

1)下载安装


2)安装完成后,执行代码,增加keepalived的配置文件

DIR=/usr/local
cp  $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d && \
cp $DIR/etc/sysconfig/keepalived  /etc/sysconfig/  && \
mkdir -p /etc/keepalived && \
cp  $DIR/sbin/keepalived  /usr/sbin
# 在/etc/keepalived/目录下增加keepalived.conf

3)注意1,2步骤,如果使用yum install keepalived 安装方法,这些配置都无需额外操作,更为便捷,推荐yum安装

4)keepalived配置项参考如下



  1. 注意到virtual_server中lb_kind选项为DR,说明使用LVS/DR模式,那么后端两台RS服务器(一般提供nginx/httpd),就需要在回环地址lo:0增加一个vip。
    参考脚本如下:
#!/bin/bash
# 注意dr模式下VIP必须是相同的值,如案例中的192.168.111.118
VIP=$2
case "$1" in
start)
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    sysctl -p >/dev/null 2>&1
    echo ' RealSever Start '
    exit 0
    ;; 
stop)
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore            
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 down
    route del  $VIP >/dev/null 2>&1
    ;; 
*)
    echo "Tips:$0{start|stop}"
    ;;
esac

6)测试就好。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容