负载均衡

集群

LB

LB：Load Balancing，负载均衡（增加处理能力）,有高可用能力，但不是高可用集群负载均衡集群，是以提高服务的并发处理能力为根本着眼点

负载均衡设备分类

软件负载均衡设备

LVS（四层路由设备），是由中国人章文松研发的（阿里巴巴的副总裁）根据用户请求的IP与端口号，实现将用户的请求分发至一个客户端不同的主机
nginx:是由俄罗斯人开发的，主要功能是针对http，smtp，pop3，imap等协议实现负载均衡，只负责解析有限的七层协议
haproxy：主要功能是针对http协议实现负载均衡，也可以实现tcp（mysql，smtp）等协议的负载均衡
对比

image.png

硬件负载均衡设备

F5:BIG IP
型号
F5 BIG-IP-1500
F5 BIG-IP LTM8800
价格
20W~100W

Citrix，Netscaler

A10

深信服

图示

image.png

HA

HA：High Availability，高可用集群（增加服务可用性）
高可用集群是以提升服务的始终在线能力为着眼点，不会因为当机而导致服务不能用
衡量可用性：在线时间/（在线时间+故障处理时间）
99%：一年有三天不在线
99.9%：一年有0.3天不在线
99.99%：一年有0.03天不在线
99.999%：一年有0.003天不在线
keepalived

图示

image.png

HPC

HPC：High performance，高性能计算集群，计算海量数据，解决复杂问题
平时所说的超级计算机就是高性能计算集群，查看每秒钟浮点运算的能力
运用到的名词：
向量机：尽可能向上进行扩展，如果CPU过多，在架构上纵然会有问题的
并行处理集群：包括两部分
1、分布式文件系统;
2、将大任务切割为小任务，分别进行处理的机制
例如hadoop就是并行处理集群

负载均衡

(Load Balance)让负载均衡，当然这是一个简单的概括，比如，我有10台机器都提供web服务，那么我如何均衡的利用这10台机器呢，让这10台机器保证高性能、高可用、高并发就是负载均衡要考虑和要做的事情。
实现负载均衡一般可以使用顺序、比重、流量、服务类别等进行分配，负载均衡的部署方式也分为路由和服务直接返回模式

负载均衡的主要方式

http重定向

原理

下载网站用的较多，其实也算一种负载均衡，工作在应用层的业务代码中
原理：根据用户的http请求计算出一个真实的web服务器地址，并将该web服务器地址写入http重定向响应中返回给浏览器，由浏览器重新进行访问。

图示

image.png

优缺点

优点：比较简单
缺点：浏览器需要零次请求服务器才能完成一次访问，性能较差。
http重定向服务器自身的处理能力可能成为瓶颈。
使用http302响应重定向，有可能使搜索引擎判断为SEO作弊，降低搜索排名。

DNS负载均衡

原理

DNS负载提供域名到IP解析的过程，我们实例查看百度的域名解析其实是一对多的，
这时候DNS服务器也就充当了负载均衡，很多域名运营商提供的智能dns以及多线解析都是利用了DNS负载均衡的技术，开源的BIND就可提供电信联通多线解析等强大的技术。
原理：在DNS服务器上配置多个域名对应IP的记录。例如一个域名www.baidu.com对应一组web服务器IP地址，域名解析时经过DNS服务器的算法将一个域名请求分配到合适的真实服务器上。

图示

image.png

image.png

优缺点

优点：将负载均衡的工作交给了DNS，省却了网站管理维护负载均衡服务器的麻烦，同时许多DNS还支持基于地理位置的域名解析，将域名解析成距离用户地理最近的一个服务器地址，加快访问速度吗，改善性能。
缺点：目前的DNS解析是多级解析，每一级DNS都可能化缓存记录A，当摸一服务器下线后，该服务器对应的DNS记录A可能仍然存在，导致分配到该服务器的用户访问失败。
DNS负载均衡的控制权在域名服务商手里，网站可能无法做出过多的改善和管理。
不能够按服务器的处理能力来分配负载。DNS负载均衡采用的是简单的轮询算法，不能区分服务器之间的差异，不能反映服务器当前运行状态，所以其的负载均衡效果并不是太好。
可能会造成额外的网络问题。为了使本DNS服务器和其他DNS服务器及时交互，保证DNS数据及时更新，使地址能随机分配，一般都要将DNS的刷新时间设置的较小，但太小将会使DNS流量大增造成额外的网络问题。

反向代理负载均衡

原理

nginx,squid
原理：反向代理处于web服务器这边，反向代理服务器提供负载均衡的功能，同时管理一组web服务器，它根据负载均衡算法将请求的浏览器访问转发到不同的web服务器处理，处理结果经过反向服务器返回给浏览器。
例如：浏览器访问请求的地址是反向代理服务器的地址114.100.80.10，反向代理服务器收到请求，经过负载均衡算法后得到一个真实物理地址10.0.0.3，并将请求结果发给真实服务器，真实服务器处理完后通过反向代理服务器返回给请求用户。

图示

image.png

优缺点

优点：部署简单，处于http协议层面。
缺点：使用了反向代理服务器后，web 服务器地址不能直接暴露在外，因此web服务器不需要使用外部IP地址，而反向代理服务作为沟通桥梁就需要配置双网卡、外部内部两套IP地址。

IP负载均衡

原理

lvs-nat
在网络层通过修改目标地址进行负载均衡。
用户访问请求到达负载均衡服务器，负载均衡服务器在操作系统内核进程获取网络数据包，根据算法得到一台真实服务器地址，然后将用户请求的目标地址修改成该真实服务器地址，数据处理完后返回给负载均衡服务器，负载均衡服务器收到响应后将自身的地址修改成原用户访问地址后再讲数据返回回去。类似于反向服务器负载均衡。

图示

image.png

优缺点

优点：在响应请求时速度较反向服务器负载均衡要快。
缺点：当请求数据较大（大型视频或文件）时，速度较慢。

数据链路层负载均衡

原理

LVS-DR
在数据链路层修改Mac地址进行负载均衡。
负载均衡服务器的IP和它所管理的web 服务群的虚拟IP一致；
负载均衡数据分发过程中不修改访问地址的IP地址，而是修改Mac地址；
通过这两点达到不修改数据包的原地址和目标地址就可以进行正常的访问。

图示

image.png

优缺点

优点：不需要负载均衡服务器进行IP地址的转换。
数据响应时,不需要经过负载均衡服务器。
缺点：负载均衡服务器的网卡带宽要求较高。

F5硬件负载均衡

工作原理

1、F5 BIG-IP提供12种灵活的算法将所有流量均衡的分配到各个服务器，而面对用户，只是一台虚拟服务器。
2、健康性检查。F5 BIG-IP可以确认应用程序能否对请求返回对应的数据。假如F5 BIG-IP后面的某一台服务器发生服务停止、死机等故障，F5会检查出来并将该服务器标识为宕机，从而不将用户的访问请求传送到该台发生故障的服务器上。这样，只要其它的服务器正常，用户的访问就不会受到影响。宕机一旦修复，F5 BIG-IP就会自动查证应用保证对客户的请求作出正确响应并恢复向该服务器传送。
3、F5 BIG-IP具有动态Session的会话保持功能，笔者也是在网站中使用的F5将用户IP与Session通过F5进行的绑定，使其Session保持一致。
4、F5 BIG-IP的iRules功能可以做HTTP内容过滤，根据不同的域名、URL，将访问请求传送到不同的服务器。

优缺点

性能好
缺点：成本高，配置冗余

四层负载和七层负载

所谓四层就是基于IP+端口的负载均衡，主要代表有lvs。
七层负载也称内容交换，就是基于URL等应用层信息的负载均衡，主要代表有nginx。

image.png

关于代理

负载均衡&代理

负载均衡也叫代理，是代理的一种。

代理

正向代理

只用于代理内部网络对Internet的连接请求，客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服务器中，正向代理指的是客户端代理，是由用户控制并知晓的代理方式，如我不能访问fb，然后使用了某国外服务器作为跳板机，最后成功访问了就是正向代理。

反向代理

指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器；并将从服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器，反向代理指的是服务端代理，在大型网站背后并不是只有一台机器提供服务，比如我访问微博，微博的某一个反向代理服务器将我解析到内部服务器的一台机器，然后这台机器给我提供微博的消息（当然实际情况比这个复杂的多），这些对于用户都是不可见的，我们只会感觉只有一台机器与我交互。

LVS概述

LVS是Linux Virtual Server,Linux虚拟服务器

是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一
LVS工作在一台server上提供Directory(负载均衡器)的功能，本身并不提供服务，只是把特定的请求转发给对应的realserver(真正提供服务的主机)，从而实现集群环境中的负载均衡。

作者

image.png

章文松
加入淘宝网之后，一直提倡开源，通过技术革新创造低碳网络。由于他有创业经历，对技术人才有清晰的认识，更觉得需要做的事情太多，时间不够用。
他这么看待梦想: 男人身上的品质就是有梦想。如果选择一种方式死去，我希望是在工作中死去。
2016年5月27日，任滴滴出行高级副总裁、负责CTO线基础平台部兼工程技术委员会主席。[2]
加入滴滴之前，章文嵩曾在阿里巴巴任职近七年，历任淘宝网资深技术总监、淘宝技术委员会主席、阿里副总裁、阿里开源委员会主席、阿里云CTO等。

框架

LB-SERVER负载均衡器
realy-server真实服务器

LVS工作模式

NAT转发模式

图示

image.png

工作原理

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP(客户端IP),后面统称为CIP)，目标地址为VIP(负载均衡器前端地址，后面统称为VIP)。
②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的目标地址改为了后端服务器的RIP地址并将报文根据算法发送出去。
③.报文送到Real Server后，由于报文的目标地址是自己，所以会响应该请求，并将响应报文返还给LVS。
④.然后lvs将此报文的源地址修改为本机并发送给客户端。
注意在NAT模式中，Real Server的网关必须指向LVS，否则报文无法送达客户端

缺点：

director很可能成为系统性能瓶颈，所有的请求director都需要处理应答
<20

DR直接路由模式

图示

image.png

工作原理

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。
②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的源MAC地址改为自己DIP的MAC地址，目标MAC改为了RIP的MAC地址，并将此包发送给RS。
③.RS发现请求报文中的目的MAC是自己，就会将次报文接收下来，处理完请求报文后，将响应报文通过lo接口送给eth0网卡直接发送给客户端。

特点

1，集群节点和director必须在一个物理网络内
2，RIP可以使用公网地址或私有地址
3，director仅处理入站请求，director服务器的压力比较小
4，集群节点网关不指向director，故出站不经过director
5，不支持端口映射
6，大多数操作系统可以作为realserver，要支持隔离arp广播

ARP问题：

通常，DR模式需要在Real-server上配置VIP，配置的方式为：
/sbin/ifconfig lo:0 inet VIP netmask 255.255.255.255
i) 原因在于，当LVS把client的包转发给Real-server时，因为包的目的IP地址是VIP，那么如果Real-server收到这个包后，发现包的目的IP不是自己的系统IP，那么就会认为这个包不是发给自己的，就会丢弃这个包，所以需要将这个IP地址绑到网卡上；当发送应答包给client时，Real-server就会把包的源和目的地址调换，直接回复给client。
ii) 关于ARP广播：

• 上面绑定VIP的掩码是”255.255.255.255″，说明广播地址是其本身，那么他就不会将ARP发送到实际的自己该属于的广播域了，这样防止与LVS上VIP冲突，而导致IP冲突。
• 另外在Linux的Real-server上，需要设置ARP的sysctl选项:

TUN-IP隧道模式

图示

image.png

工作原理

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。
②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。
③.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。

特点

优点：
负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点：
隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。
<100

FULL-NAT

了解

Full-NAT由此而生，解决的是LVS和RS跨VLAN的问题，而跨VLAN问题解决后，LVS和RS不再存在VLAN上的从属关系，可以做到多个LVS对应多个RS，解决水平扩容的问题。

图示

image.png

模式对比

image.png

轮训算法

1.Fixed Scheduling Method 静态调服方法

(1).RR 轮询

调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

(2).WRR 加权轮询

调度器通过"加权轮叫"调度算法,根据真实服务器的不同处理能力.来调度访问请求。这样可以保证处理能力强的服务器,处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

(3).DH 目标地址hash

"目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

(4).SH 源地址hash

"源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

2.Dynamic Scheduling Method 动态调服方法

(1).LC 最少连接

调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

(2).WLC 加权最少连接

在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

(3).LBLC 基于本地的最少连接

"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。

(4).LBLCR 带复制的基于本地的最少连接

"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。

LVS-DR实战案例

环境

192.168.0.106 client windown7
192.168.0.124 dr1 负载均衡器
虚拟IP地址：192.168.0.123
192.168.0.120 rs1 web1
虚拟IP地址：192.168.0.123
192.168.0.121 rs2 web2
虚拟IP地址：192.168.0.123

步骤

1.LVS准备VIP和路由

添加VIP

 ifconfig ens32:0 192.168.0.123 broadcast 192.168.0.255 netmask 255.255.255.0 up
route add -host 192.168.0.123 dev ens32:0

VIP与RIP要配到同一个网卡上

设置路由转发

服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能

 vi /etc/sysctl.conf
net.ipv4.ip_forward = 1开启路由功能
net.ipv4.conf.all.send_redirects = 0#禁止转发重定向报文
net.ipv4.conf.ens32.send_redirects = 0禁止ens32转发重定向报文
net.ipv4.conf.default.send_redirects = 0禁止转发默认重定向报文

2.LVS设置负载均衡条目

设置IPVSADM

yum install ipvsadm  -y
ipvsadm -C       -C   Clear the virtual server table.
 ipvsadm -A -t 192.168.0.123:80 -s rr
 ipvsadm -a -t 192.168.0.123:80 -r 192.168.0.120:80 -g
 ipvsadm -a -t 192.168.0.123:80 -r 192.168.0.121:80 -g

参数说明

-A 添加virtual server
-t 指定使用tcp协议
-s 指定调度策略为rr
-a 添加realserver
-r 指定realserver是谁
-g LVS类型DR

LVS类型：
> -g：Gateway，DR(默认使用的类型)
>-i：ipip，TUN
>-m：masquerade(地址伪装)，NAT

3.LVS让配置永久生效：

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm

4.两个web上部署web服务

安装web服务

yum install nginx  -y

修改主页内容

 vim /usr/share/nginx/html/index.html

启动服务：

    systemctl start nginx
    systemctl enable nginx

5. 给两个web服务器的lo网卡设置子网掩码为32位vip

rs1:

     ifconfig lo:0 192.168.0.123/32  

rs2:

     ifconfig lo:0 192.168.0.123/32 

6.给两个web服务器设置内核参数

忽略arp响应 ,不允许收

 echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

为了让vip发包出去，但允许发

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce  

7.客户端测试

浏览器测试

image.png

image.png

ipvsadm状态测试

[root@localhost ~]# ipvsadm -Lnc
IPVS connection entries
pro expire state       source             virtual            destination
TCP 00:16  SYN_RECV    192.168.0.106:63429 192.168.0.123:80   192.168.0.121:80

8.命令解释大全（略）

1. 管理虚拟服务

添加一个虚拟服务192.168.1.100:80，使用轮询算法

　　ipvsadm -A -t 192.168.1.100:80 -s rr

修改虚拟服务的算法为加权轮询

　　ipvsadm -E -t 192.168.1.100:80 -s wrr

删除虚拟服务

　　ipvsadm -D -t 192.168.1.100:80

2. 管理真实服务

添加一个真实服务器192.168.1.123，使用DR模式，权重2

　　ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.123 -g -w 2

增加真实服务器的权重

　　ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.123 -g -w 5

修改真实服务器的权重

　　ipvsadm -e -t 192.168.1.100:80 -r 192.168.1.123 -g -w 5

删除真实服务器

　　ipvsadm -d -t 192.168.1.100:80 -r 192.168.1.123

3. 查看统计

查看当前配置的虚拟服务和各个RS的权重

　　ipvsadm -Ln

查看当前ipvs模块中记录的连接（可用于观察转发情况）

　　ipvsadm -lnc

查看ipvs模块的转发情况统计

　　ipvsadm -Ln --stats  --rate

9.脚本配置方法

VS调度器配置

!/bin/bash
Author:shuaiguoxia.com
Date:2017-10-23
vip='172.18.0.100'
iface='eth0:1'
mask='255.255.255.255'
port='80'
rs1='10.10.0.72'
rs2='10.10.0.73'
scheduler='wrr'
type='-g'
case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables -F
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

./dr-vs.sh start              #dr-vs.sh为脚本名

RS服务器配置

!/bin/bash
Author:shuaiguoxia.com
Date:2017-10-23
vip=172.18.68.100
mask='255.255.255.255'
dev=lo:1
case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask broadcast $vip up
    route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore3
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*) 
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

./dr-rs.sh start              #dr-rs.sh为脚本名

LVS-NAT实战案例

环境

拓扑图

image.png

地址分配

client：   VMNET0    10.18.41.210
LVS： VMNET0    10.18.41.55
            VMNET2   192.168.142.136
web1:    VMNET2    192.168.142.137
提前安装httpd
web2:   VMNET2    192.168.142.138

注意

关闭防火墙
关闭selinux

步骤

client配置路由

route add -net 192.168.142.0/24 gw  10.18.41.55

查看路由信息：ip route

web1配置网站和路由

yum  install -y httpd
systemctl  start httpd
systemctl enable httpd
echo   web1 >  /var/www/html/index.html
route add -net 10.18.41.0/24 gw 192.168.142.136
配置真实服务器的网络出口。

web2配置网站和路由

yum  install -y httpd
systemctl  start httpd
systemctl enable httpd
echo   web2 >   /var/www/html/index.html
 route add -net 10.18.41.0/24 gw 192.168.142.136

LVS-NAT配置路由功能和负载策略

 echo  1  > /proc/sys/net/ipv4/ip_forward
启动路由功能
yum install -y ipvsadm
ipvsadm   -A -t 10.18.41.55:80  -s   rr
-A 添加一个VIP
-t TCP协议
-s   schedule调度
rr  轮训策略类型
ipvsadm  -a  -t  10.18.41.55:80 -r 192.168.142.137:80   -m
-a  添加一个真实服务
-r  真实服务器IP 地址
-m    nat 模式工作
 ipvsadm  -a  -t  10.18.41.55:80 -r 192.168.142.138:80   -m

client测试

elinks   --dump   http://10.18.41.55

每次访问的结果都不一样