Keepalived

https://www.keepalived.org/doc/introduction.html

https://www.keepalived.org/manpage.html

Keepalived简介

Keepalived提供了用于负载平衡和高可用性的框架。负载平衡框架依赖于广为人知的Linux虚拟服务器（IPVS）内核模块，该模块提供第4层负载平衡。Keepalived实施一组运行状况检查器，以根据其运行状况动态，自适应地维护和管理负载平衡的服务器池。虚拟冗余路由协议（VRRP）实现了高可用性。VRRP是路由器故障转移的基础砖。此外，keepalived还实现了一组VRRP有限状态机的挂钩，从而提供了低级和高速协议交互。每个Keepalived框架可以独立使用，也可以一起使用以提供弹性基础架构。

keepalived software design

Keepalived提供两个主要功能：

• LVS系统的运行状况检查
• VRRPv2堆栈的实施以处理负载均衡器故障转移

Keepalived使用四个Linux内核组件：

• LVS Framework: 使用getsockopt和setsockopt调用来获取和设置套接字上的选项
• Netfilter Framework: 支持NAT和伪装的IPVS代码
• Netlink Interface: 设置和删除网络接口上的VRRP虚拟IP
• Multicast: 将VRRP通告发送到保留的VRRP MULTICAST组(224.0.0.18)

日志默认路径：/var/log/messages

keepalive进程

$ ps -elf |grep keep
1 S root      38567      1  0  80   0 - 11762 ?      Mar11 ?        00:00:05 /usr/sbin/keepalived # 主进程
1 S root      38568  38567  0  80   0 - 11868 ?      Mar11 ?        00:00:05 /usr/sbin/keepalived # VRRP 子进程
5 S root      38570  38567  0  80   0 - 11868 ?      Mar11 ?        00:02:47 /usr/sbin/keepalived # Healthchecking 子进程

VRRP简介

VRRP指定了一种选举协议，该协议可以将虚拟路由器的职责动态分配给LAN上的其中一个VRRP路由器。控制与虚拟路由器关联的IP地址的VRRP路由器称为Master，并将转发到这些IP
地址的数据包转发。如果主服务器不可用，则选举过程将在转发职责中提供动态故障转移。这允许
最终主机将LAN上的任何虚拟路由器IP地址用作默认的第一跳路由器。使用VRRP所获得的优势是
更高的可用性默认路径，而无需在每个终端主机上配置动态路由或路由器发现协议。

VRRP注意事项

为了减少对接管的影响（切换后，网关的arp缓存没有及时刷新，实际无法访问VIP， arping -I eth1 -c 5 -s $VIP $GATEWAY），某些网络环境将要求使用带有VMAC地址的VRRP。

• 启用vmac

  # 全局配置
  net.ipv4.conf.all.arp_ignore = 1
  net.ipv4.conf.all.arp_announce = 1
  net.ipv4.conf.all.arp_filter = 0
  # 端口配置
  net.ipv4.conf.eth0.arp_filter = 1
  

• vmac配置

  vrrp_instance instance1 {
      state BACKUP
      interface eth0
      virtual_router_id 250
      use_vmac           # 默认值为：use_vmac vrrp.$virtual_router_id
      vmac_xmit_base     # Transmit VRRP adverts over physical interface
      priority 150
      advert_int 1
      virtual_ipaddress {
          10.0.0.254
      }
      notify_master "/usr/local/bin/vmac_tweak.sh vrrp.250" # 通知脚本
  }
  

• 配置

  net.ipv4.conf.vrrp.250.arp_filter = 0
  net.ipv4.conf.vrrp.250.accept_local = 1 (this is needed for the address owner case)
  net.ipv4.conf.vrrp.250.rp_filter = 0
  

安装

apt-get install keepalived
# 源码安装如下
apt-get install curl gcc libssl-dev libnl-3-dev libnl-genl-3-dev libsnmp-dev
curl --progress http://keepalived.org/software/keepalived-1.2.15.tar.gz | tar xz
cd keepalived-1.2.15
./configure
make
sudo make install

配置

Global

global_defs {
    notification_email {
        email # 通知的邮件地址
        email
    }
    notification_email_from email # 发送邮件的地址
    smtp_server host # 邮件服务器
    smtp_connect_timeout num # 超时时间
    lvs_id string # lvs的名字
}

vrrp_script 健康检查

vrrp_script chk_haproxy {
  script "pidof haproxy" # 检测ha的pid是否存在
  interval 2 # 间隔
  weight 10  # 脚本返回0时，正：优先级=P+W，优先级会增加；脚本返回非0时，负：优先级=P-W，优先级会减小
             # 如果未设置weight，默认值为0，当vrrp_script连续检测失败时，vrrp实例进入FAULT状态，会导致VIP转移
}

vrrp_instance

vrrp_instance string {
    state MASTER|BACKUP # MASTER/BACKUP，当其他节点keepalived启动时会将priority比较大的节点选举为MASTER
    # nopreempt         # 不抢占，主备都配置BACKUP
    interface string    # 对外提供服务的网络接口，用来发VRRP包
    virtual_router_id num  # 取值在0-255之间，用来区分多个instance的VRRP组播
                           # 同一网段中该值不能重复，并且同一个vrrp实例使用唯一的标识，一般用VIP的最后一位
    priority num        # 用来选举master的，越高越优先，该项取值范围是1-255（在此范围之外会被识别成默认值100）
    advert_int num      # 发VRRP包的时间间隔，即多久进行一次master选举，可以认为是健康查检时间间隔，单位为秒
    smtp_alert          # 启用smtp告警

    authentication {
        auth_type PASS|AH  # 认证类型，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信
        auth_pass string
    }

    virtual_ipaddress { # Block limited to 20 IP addresses
        @IP # 可以有多个VIP地址
        @IP
    }
    virtual_ipaddress_excluded { # Unlimited IP addresses # 排除的(不常用)
        @IP
        @IP
    }

    track_script {
        chk_haproxy weight -10 # 检测模块，自定义weight
    }

    notify_master /path_to_script/script_master.sh
    notify_backup /path_to_script/script_backup.sh
    notify_fault /path_to_script/script_fault.sh
}