主机：10.237.3.203
备机：10.237.3.204
LVS VIP: 10.237.3.211
0、制作系统本地的光盘yum源
创建ISO挂载目录
mkdir /media/cdrom
挂载ISO至/media/cdrom
mount -t iso9660 /root/CentOS-7-x86_64-DVD-1611.iso /media/cdrom
编辑repo
vi /etc/yum.repos.d/CentOS-Media.repo
[c7-media]
name=CentOS-$releasever - Media
baseurl=file:///media/CentOS/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
如果有自建YUM可以第3行改为
baseurl=http://10.237.120.250/iyum
1、基础软件包
yum -y install gcc gcc-c++ make popt popt-devel libnl libnl-devel popt-static openssl-devel kernel-devel
建立一个内核信息的符号链接，如下：
ln -s /usr/src/kernels/3.10.0-514.el7.x86_64 /usr/src/linux
2、安装LVS软件
yum -y install ipvsadm
ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
3、安装keepalived软件
yum install keepalived
keepalived -v
Keepalived v1.2.13 (05/25,2017)
4、系统防火墙配置（未开防火墙则忽略）
修改iptables配置，在主机上放开备机进来的流量，在备机也做相似设置：
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT firewall-cmd --reload
5、配置/etc/keepalived/keepalived.conf文件
注：
- 在备机上，配置文件仅有router_id和priority的值不同；
- nopreempt只在权重值高的主服务器上配置，权重值低的服务器不需要此条；
- interface eth0根据实际的环境配置。
router_id:50要求主备一样，且必须在0-255之间；
priority :150（权重主比备高50即可，主配置150，备配置100）；
virtual_ip: 10.237.3.210（virtual_ip为真实环境的虚ip）
real_server :10.237.3.207 8066（real_server的IP写为本机的ip）
nopreempt :只在权重值高的服务器上配置，权重值低的服务器不需要此条注释掉即可；
interface eth0：ifconfig看下本地使用的网卡，如果是bound0则改为bound0.
connect_port：80（该端口改为真实环境下数据库提供服务的端口）
global_defs {
}
vrrp_instance VI_203 {
state BACKUP
nopreempt
interface eth0
virtual_router_id 50
priority 150 #权重值
advert_int 1
authentication {
auth_type PASS
auth_pass 1207
}
virtual_ipaddress {
10.237.3.211
}
}
virtual_server 10.237.3.211 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
#persistence_timeout 2
protocol TCP
real_server 10.237.3.203 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}
real_server 10.237.3.204 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}
}
启动keepalived服务
systemctl start keepalived.service
设置keepalived开机启动
systemctl enable keepalived.service
查看keepalived服务状态
systemctl status keepalived.service
查看系统网卡VIP是否已经生效：
ip a
6、负载均衡后端应用主机的配置
使用DR模式时，在各个提供后端服务的应用主机上传脚本lvs_real_server.sh至/usr/local/src下并设置：
chmod 700 /usr/local/src/lvs_real_server.sh
echo "/usr/local/src/lvs_real_server.sh start" >> /etc/rc.d/rc.local
/usr/local/src/lvs_real_server.sh start
以下为lvs_real_server.sh的内容，注意要更新VIP配置：
vi lvs_real_server.sh
#!/bin/bash
#written by Daniel on 2014/02/19
#version 1.0
VIP=10.237.3.211
. /etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
route add -host $VIP dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p > /dev/null 2>&1
echo "Real Server Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP > /dev/null 2>&1
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
echo "Real Server Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
7、测试后端负载均衡服务的方法
在完成LVS部署后，后端提供服务的应用可能还没有上线。在每个后端节点上临时启动一个http server，服务端口设置为与LVS负载均衡服务相对应的端口号即可。使用后，停掉该命令即可。
# python -m SimpleHTTPServer 8855
Serving HTTP on 0.0.0.0 port 8855...
8、棘手问题
现象：
- ipvsadm -ln 无实体机转发记录。
- systemctl status keepalived.service
提示IPVS no such destination错误
措施：
查看内核模块是否加载
lsmod|grep ip_vs
如果没有加载，使用如下命令加载ipvs相关模块
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr ##今日手动加载了此模块
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
9、待解决问题
多端口监听（80+443）引起交互机cpu过高，问题待查
