LVS+Keepalived

LVS负载集群:
IPVS:工作在内核
ipvsadm:管理IPVS
keepalived和ipvsadm并行的,都可以直接管理内核ipvs。
keepalived和LVS亲密无间,keepalived就是为LVS诞生。
LVS技术小结:
1.真正实现调度的工具是IPVS,工作在linux内核层面。
2.LVS自带的IPVS管理工具是ipvsadm。
3.keepalived实现管理IPVS及负载均衡器的高可用。
4.Red hat工具Piranha WEB管理实现调度的工具IPVS。
LVS术语:
VIP:虚拟IP;
RIP:真是IP;
DIP:Director IP;
CIP:客户端主机IP;
LVS集群的四种模式:
NAT
DR ***
TUN
FULLNAT
ARP协议:
全称"Address Resolution Protocol":地址解析协议;IP地址转换成相应的物理地址(MAC地址);
ARP小结:
1.ARP全称
2.实现局域网把IP地址转换为MAC地址
3.MAC 48位主机的物理地址,局域网内唯一
4.ARP协议和DNS有点相似之处。不同点是:DNS是在域名和IP之间的解析,另外,ARP协议不需要配置服务
,而DNS要配置服务才行。
5.ARP协议是三层协议
LVS DR模式:
1.通过更改数据包的目标MAC地址实现数据包转发的。注意源IP地址仍是CIP,目的IP地址仍是VIP。
2.请求的报文经过调度器,而RS响应处理后的报文无需经过调度器LB,因此,并发访问量大时使用效率很高(和NAT模式比)
3.因DR模式是通过MAC地址的改写机制实现的转发,所有节点和LVS要处于一个局域网
4.需要注意RS节点的VIP的绑定(lo:vip/32,lo1:vip/32)和ARP抑制问题
5.RS节点的默认网关不需要是调度器LB的DIP,而直接是IDC机房分配的上级路由器的IP(这是RS带有外网IP
地址的情况),理论讲:只要RS可以出网即可,不是必须要配置外网IP。
6.目的MAC地址的改写,调度器LB无法该变请求的报文的目的端口(和NAT的区别)
7.调度器LB支持几乎所有的UNIX,LINUX系统,不支持WINDOWS系统。真实服务器RS节点可以是WINDOWS系统。
8.DR模式效率高,配置麻烦,访问量不大的情况,可以用haproxy、nginx,日1000-2000w PV或1万以下
9.直接对外的访问业务,例如:web服务做RS节点,RS最好用公网IP地址。如果不直接对外的业务,例如:MySQL,
存储系统RS节点,最好用内部IP地址。

NAT模式:入站DNAT,出站SNAT,入站出站都经过LVS,可以修改端口
DR模式:修改数据包的目的MAC地址,入站经过LVS,出站不经过LVS,直接返回客户,不能改端口,适合局域网LAN。
TUN模式:不改变数据包内容,数据包外部封装一个IP头,入站经过LVS,出站不经过LVS,直接返回客户,不能改端口,适合局域网LAN/WAN。
LVS和节点之间通过隧道通信。
LVS调度算法:
固定算法:rr(轮询),wrr(权重轮询),dh(目标地址哈希),sh(源地址哈希)
动态算法:*wlc(加权最小连接),lc(最小连接),lblc,lblcr,SED,NQ

WEB
LB01(nginx+keepalived) 10.0.1.3
VIP:10.0.1.31
LB02(nginx+keepalived) 10.0.1.5
VIP:10.0.1.32
WEB1 10.0.1.6 LAMP RS1(真实服务器)
WEB2 10.0.1.9 LNMP RS2(真实服务器)

安装LVS
安装准备命令:lsmod|grep ip_vs(验证keepalived是否安装)
安装LVS:①yum install ipvsadm -y3、②命令:ipvsadm(有则安装成功)
配置IP
1.ping IP,起初选的IP是ping不通。以10.0.1.31为例(IP随意分配),添加这个IP
2.lb01:添加一个IP-->ip addr add 10.0.1.31/24 dev eth0 label eth0:1

LB01(LVS的配置过程)
第一步:
新安装,清除列表,重头再来
ipvsadm -C
第二步:
添加IP(虚拟服务)/V server
指定IP:
ipvsadm -A -t 10.0.1.31:80 -s rr
查看IP:
ipvsadm -LN
// TCP 10.0.1.31:80 rr(V server,但没有节点)
添加RS1节点:
ipvsadm -a -t 10.0.1.31:80 -r 10.0.1.6:80 -g
查看:
ipvsadm -Ln
// TCP 10.0.1.31:80 rr
// --> 10.0.1.6:80 Route 1 0 0 *(新增加了一个节点)
添加RS2节点:
ipvsadm -a -t 10.0.1.31:80 -r 10.0.1.9:80 -g
查看:
ipvsadm -Ln
// TCP 10.0.1.31:80 rr
// --> 10.0.1.6:80 Route 1 0 0
// --> 10.0.1.9:80 Route 1 0 0 *(新增加了一个节点)
##如果节点导错了,可以删除,重新导
ipvsadm -d -t 10.0.1.31:80 -r 10.0.1.9:80
ipvsadm -Ln
// TCP 10.0.1.31:80 rr
// --> 10.0.1.6:80 Route 1 0 0
&&可以增加会话保持
-p (会话保持时间)
ipvsadm -A -t 10.0.1.31:80 -s rr -p 300
&&设置超时参数
ipvsadm --set 30 5 60
第三步:
在负载均衡上做一个host解析:
vi /etc/hosts
10.0.1.6 www.etiantian.org bbs.etiantian.org(以此为例,对其他的IP也要验证)
测试VIP,RIP1,RIP2能不能访问:
①ping www.etiantian.org
②curl www.etiantian.org
注意:对VIP测试,要特别注意,一般不要再负载均衡器上测试,要选择别的客户端(真正的客户端)来验证。
第四步
RS绑定VIP
ip addr add 10.0.1.31/32 dev lo label lo:1 *临时生效
route add -host 10.0.1.31 dev lo
第五步
对RS抑制ARP响应方法如下:
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

可以查询访问结果,通过ipvsadm -Ln

LVS缺点:只能手工配置,没有健康检查
健康检查功能:
如果其中一台服务器停止了,LVS没有健康检查功能,所以ipvsadm -Ln列表中还有这台服务器。

LVS裂脑问题???
LVS故障排查:
熟悉LVS的工作原理
1.调度器上LVS调度规则及IP的正确性
2.RS节点上VIP绑定和arp抑制的检查
生产处理思路:
1)对RS绑定的VIP做实时监控;
2)RS绑定的VIP做成配置文件

    ARP抑制的配置思路
    1)如果是单个VIP,那么可以用stop传参设置0
    2)如果rs端有多个VIP绑定,此时,即使是停止VIP绑定也一定不要置0
3.RS节点上自身提供服务的检查(DR不能端口转换)
4.辅助排除工具有tcpdump,ping
5.负载均衡和反向代理集群的三角形排查理论 

keepalived解决了几个问题:a.管理的问题;b.健康检查的问题;c.LVS的高可用
Keepalived配置
1.vi keepalived.conf
2.ip addr del 10.0.1.32/24 dev eth0
3.ipvsadm -C

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容