快速搭建高可用 RabbitMQ 集群和 HAProxy 软负载

RabbitMQ 高可用集群架构

RabbitMQ 集群架构.png

将两个 RabbitMQ 磁盘节点和一个 RabbitMQ 内存节点组成一个内建集群，之所以要用两个磁盘节点是防止，唯一的磁盘节点挂掉后，不能重建队列，交换器。用 HAProxy 作为 RabbitMQ 集群的负载均衡。为了防止 HAProxy 单点故障，用 Keepalived 将两个 HAProxy 节点做成一主一备。应用使用 VIP（虚拟IP） 访问 HAProxy 服务时，默认连接主机（Master）的 HAProxy，当主机（Master）上的 HAProxy 故障时，VIP 会漂移到备机（Backup）上，就会连接备机（Backup）上的 HAProxy 服务。

准备工作

服务器安装 docker，docker-compose，准备离线镜像 rabbitmq.tar，haproxy.tar。
服务器节点间可以相互 ping 通。

RabbitMQ 集群

使用 RabbitMQ 内建集群，持久化队列无法在队列节点崩溃时，自动连接别的节点创建队列，非持久化队列可以自动连接可用节点创建队列。我们的项目使用的非持久化队列。

至少保证有两个磁盘节点，否则在唯一磁盘节点崩溃时，无法在集群中创建队列，交换器等元数据。

服务分布情况

192.168.1.213 服务器部署 RabbitMQ Disc Node1。
192.168.1.203 服务器部署 RabbitMQ Disc Node2。
192.168.1.212 服务器部署 RabbitMQ RAM Node3。

创建第一个 RabbitMQ 节点

登录服务器，创建目录 /app/mcst/rabbitmq。

将镜像 tar 包 rabbitmq.tar，服务编排文件 mcst-rabbitmq-node1.yaml 通过 sftp 上传到刚创建的目录下。

导入镜像

$ docker load -i rabbitmq.tar
$ docker images # 查看是否导入成功

查看服务编排文件 mcst-rabbitmq-node1.yaml

version: '3'
services:
  rabbitmq:
    container_name: mcst-rabbitmq
    image: rabbitmq:3-management
    restart: always
    ports:
      - 4369:4369
      - 5671:5671
      - 5672:5672
      - 15672:15672
      - 25672:25672
    environment:
      - TZ=Asia/Shanghai
      - RABBITMQ_ERLANG_COOKIE=iweru238roseire
      - RABBITMQ_DEFAULT_USER=mcst_admin
      - RABBITMQ_DEFAULT_PASS=mcst_admin_123
      - RABBITMQ_DEFAULT_VHOST=mcst_vhost
    hostname: rabbitmq1
    extra_hosts:
      - rabbitmq1:192.168.1.213
      - rabbitmq2:192.168.1.203
      - rabbitmq3:192.168.1.212
    volumes:
      - ./data:/var/lib/rabbitmq

部署命令

$ docker-compose -f mcst-rabbitmq-node1.yaml up -d

注意：三个节点 RABBITMQ_ERLANG_COOKIE 保持一致。一定要有 extra_hosts 配置，否则在搭建集群的过程中会连接不到其他 rabbitmq 节点服务。此节点作为集群根节点。

部署第二个 RabbitMQ 节点

方法同上，上传 rabbitmq.sh 脚本到 volumes 配置的 ./rabbitmq.sh 路径。查看 mcst-rabbitmq-node2.yaml

version: '3'
services:
  rabbitmq:
    container_name: mcst-rabbitmq
    image: rabbitmq:3-management
    restart: always
    ports:
      - 4369:4369
      - 5671:5671
      - 5672:5672
      - 15672:15672
      - 25672:25672
    environment:
      - TZ=Asia/Shanghai
      - RABBITMQ_ERLANG_COOKIE=iweru238roseire
      - RABBITMQ_DEFAULT_USER=mcst_admin
      - RABBITMQ_DEFAULT_PASS=mcst_admin_123
      - RABBITMQ_DEFAULT_VHOST=mcst_vhost
    hostname: rabbitmq2
    extra_hosts:
      - rabbitmq1:192.168.1.213
      - rabbitmq2:192.168.1.203
      - rabbitmq3:192.168.1.212
    volumes:
      - ./rabbitmq.sh:/home/rabbitmq.sh
      - ./data:/var/lib/rabbitmq

部署命令

$ docker-compose -f mcst-rabbitmq-node2.yaml up -d

节点启动完成后，通过命令进入 rabbitmq2 节点的容器中，执行 /home/rabbitmq.sh 脚本。如果报权限错误，则在容器内执行 chmod +x /home/rabbitmq.sh 赋权，然后 bash /home/rabbitmq.sh 执行脚本添加到集群中。

进入容器的命令：

$ docker exec -it mcst-rabbitmq /bin/bash

脚本内容如下（磁盘节点）：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbitmq1
rabbitmqctl start_app

部署第三个 RabbitMQ 节点

方法同上，查看 mcst-rabbitmq-node3.yaml

version: '3'
services:
  rabbitmq:
    container_name: mcst-rabbitmq
    image: rabbitmq:3-management
    restart: always
    ports:
      - 4369:4369
      - 5671:5671
      - 5672:5672
      - 15672:15672
      - 25672:25672
    environment:
      - TZ=Asia/Shanghai
      - RABBITMQ_ERLANG_COOKIE=iweru238roseire
      - RABBITMQ_DEFAULT_USER=mcst_admin
      - RABBITMQ_DEFAULT_PASS=mcst_admin_123
      - RABBITMQ_DEFAULT_VHOST=mcst_vhost
    hostname: rabbitmq3
    extra_hosts:
      - rabbitmq1:192.168.1.213
      - rabbitmq2:192.168.1.203
      - rabbitmq3:192.168.1.212
    volumes:
      - ./rabbitmq-ram.sh:/home/rabbitmq-ram.sh
      - ./data:/var/lib/rabbitmq

部署命令

$ docker-compose -f mcst-rabbitmq-node3.yaml up -d

在启动 rabbitmq3 节点，启动后，进入容器内部，执行 bash /home/rabbitmq-ram.sh 脚本添加内存节点到集群中。

脚本内容：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app

在容器内部使用命令查看集群状态：rabbitmqctl cluster_status。

Cluster status of node rabbit@rabbitmq1 ...
[{nodes,[{disc,[rabbit@rabbitmq1,rabbit@rabbitmq2]},{ram,[rabbit@rabbitmq3]}]},
 {running_nodes,[rabbit@rabbitmq2,rabbit@rabbitmq3,rabbit@rabbitmq1]},
 {cluster_name,<<"rabbit@rabbitmq2">>},
 {partitions,[]},
 {alarms,[{rabbit@rabbitmq2,[]},{rabbit@rabbitmq3,[]},{rabbit@rabbitmq1,[]}]}]

也可以通过 http://192.168.1.213:15672 进入管理端查看集群状态。

rabbitmq集群.jpg

HAProxy 负载均衡

创建目录 /app/mcst/haproxy，将镜像 tar 包，haproxy 配置文件，docker 服务编排文件上传到该目录。

导入镜像方法同上。

查看服务编排文件内容：

version: '3'
services:
  haproxy:
    container_name: mcst-haproxy
    image: haproxy:2.1
    restart: always
    ports:
      - 8100:8100
      - 15670:5670
    environment:
      - TZ=Asia/Shanghai
    extra_hosts:
      - rabbitmq1:192.168.1.213
      - rabbitmq2:192.168.1.203
      - rabbitmq3:192.168.1.212
    volumes:
      - ./haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro

重点是设置 extra_hosts（rabbitmq 集群节点 ip） 和 volumes（使用自定义的配置文件）。

haproxy 配置文件内容：

global
    log 127.0.0.1 local0 info
    maxconn 4096

defaults
    log     global
    mode    tcp
    option  tcplog
    retries 3
    option  redispatch
    maxconn 2000
    timeout connect 5s
    timeout client 120s
    timeout server 120s

# ssl for rabbitmq
# frontend ssl_rabbitmq
    # bind *:5673 ssl crt /root/rmqha_proxy/rmqha.pem
    # mode tcp
    # default_backend rabbitmq

# web 管理界面
listen stats
    bind *:8100
    mode http
    stats enable
    stats realm Haproxy\ Statistics
    stats uri /
    stats auth admin:admin123
# 配置负载均衡
listen rabbitmq
    bind *:5670
    mode tcp
    balance roundrobin
    server  rabbitmq1 rabbitmq1:5672  check inter 5s rise 2 fall 3
    server  rabbitmq2 rabbitmq2:5672  check inter 5s rise 2 fall 3
    server  rabbitmq3 rabbitmq3:5672  check inter 5s rise 2 fall 3

部署命令

$ docker-compose -f mcst-haproxy.yaml up -d

服务分布情况

192.168.1.212 服务器部署 HAProxy Master。
192.168.1.203 服务器部署 HAProxy Backup。

分别在以上两个节点起好 HAProxy 服务。

登录 HAProxy 的管理端查看集群状态：http://192.168.1.212:8100/。

haproxy.jpg

使用 Keepalived 给 HAProxy 做主备

准备工作

申请一个和服务节点同一局域网的 ip 地址，该 ip 不能被占用，作为 VIP（虚拟ip）。

安装 Keepalived

到 Keepalived 官网下载最新版本包，本次安装使用的是 2.0.20 版本。
下载好后的文件是：keepalived-2.0.20.tar.gz。

上传到服务器，对 tar 包解压缩。

$ tar -xf keepalived-2.0.20.tar.gz

检查依赖

$ cd keepalived-2.0.20
$ ./configure

Keepalived 的安装需要以下依赖 gcc，openssl-devel。

安装命令

$ yum install -y gcc
$ yum install -y openssl-devel

因为是内网服务器不能使用外网的 yum 源，所以需要更改用本地 yum 源。

搭建本地 yum 源的参考文章

将 linux 的安装光盘镜像上传到 /mnt/iso 目录下，并 mount 到 /mnt/cdrom 目录下，作为 yum 的一个安装源。

$ mkdir /mnt/iso
$ mkdir /mnt/cdrom 
$ mv /ftp/rhel-server-7.3-x86_64-dvd.iso /mnt/iso

挂载光盘镜像

$ mount -ro loop /mnt/iso/rhel-server-7.3-x86_64-dvd.iso /mnt/cdrom 
$ mv /ftp/myself.repo /etc/yum.repos.d
$ yum clean all 
$ yum makecache 
$ yum update

附：myself.repo文件内容：

[base]
name= Red Hat  Enterprise Linux $releasever  -  $basearch  -  Source
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release

更改完成后，以后每次需要 linux 安装盘安装软件包时，只需要执行 mount 命令，将光盘 ISO 文件加载即可。

$ mount -ro loop /mnt/iso/rhel-server-7.3-x86_64-dvd.iso /mnt/cdrom

这时使用 yum 安装 gcc，openssl-devel就没问题了。

如果使用本地 yum 源的条件也不具备，那么可以使用 yum 的 downloadonly 插件。

要在能连接外网和系统版本一致的机器上将需要的依赖下载下来，到目标内网机器上本地安装。

downloadonly 使用方法的参考文章

还是推荐使用本地 yum 源的方式。

安装完 gcc，openssl-devel 后，再次执行 ./configure 会报一个警告。

“this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.”

安装如下依赖解决

$ yum install -y libnl libnl-devel

安装完成后再次 ./configure 就没问题了。

然后执行 make 编译

最后执行 make install 安装

安装完成后执行 keepalived --version，输出版本号即为安装成功。

创建 Keepalived 配置文件

创建配置文件 /etc/keepalived/keepalived.conf

Master 节点配置：

vrrp_script chk_haproxy {
    script "killall -0 haproxy"  # verify haproxy's pid existance
    interval 5                   # check every 2 seconds
    weight -2                    # if check failed, priority will minus 2
}
vrrp_instance VI_1 {
    # 主机: MASTER
    # 备机: BACKUP
    state MASTER
    # 实例绑定的网卡, 用ip a命令查看网卡编号
    interface ens192
    # 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样
    virtual_router_id 51
    # 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器
    priority 101
    # 虚拟IP地址,可以有多个，每行一个
    virtual_ipaddress {
        192.168.1.110
    }
    track_script {               # Scripts state we monitor
        chk_haproxy              
    }
}

ens192 是网卡名，ifconfig 命令查看服务器网卡，找到和本机服务 ip 对应的网卡，virtual_router_id 的值要和 backup 节点上的配置保持一致。killall -0 haproxy 命令的意思是，如果 haproxy 服务存在执行该命令，什么都不会发生，如果服务不存在，执行该命令会报找不到进程 haproxy: no process found。

# 网卡信息
ens192: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.203  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::250:56ff:fe94:bceb  prefixlen 64  scopeid 0x20<link>
        ether 00:50:56:94:bc:eb  txqueuelen 1000  (Ethernet)
        RX packets 88711011  bytes 12324982140 (11.4 GiB)
        RX errors 0  dropped 272  overruns 0  frame 0
        TX packets 88438149  bytes 10760989492 (10.0 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

# haproxy 服务不存在
[root@localhost ~]# killall -0 haproxy
haproxy: no process found

master 节点的 priority 在减去 weight 后要比 backup 节点的 priority 低才行，否则主备切换不成功。

Backup节点配置：

vrrp_script chk_haproxy {
    script "killall -0 haproxy"  # verify haproxy's pid existance
    interval 5                   # check every 2 seconds
    weight -2                    # if check failed, priority will minus 2
}
vrrp_instance VI_1 {
    # 主机: MASTER
    # 备机: BACKUP
    state BACKUP
    # 实例绑定的网卡, 用ip a命令查看网卡编号
    interface ens192
    # 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样
    virtual_router_id 51
    # 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器
    priority 100
    # 虚拟IP地址,可以有多个，每行一个
    virtual_ipaddress {
        192.168.1.110
    }
    track_script {               # Scripts state we monitor
        chk_haproxy              
    }
}

创建完配置，启动 keepalived。

$ systemctl restart keepalived

测试 Keepalived

在 Master，Backup 节点上，使用 ip addr 命令看下 vip 在哪台机器的 ens192 网卡上。

2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:50:56:94:c1:79 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.212/24 brd 192.168.1.255 scope global ens192
       valid_lft forever preferred_lft forever
    inet 192.168.1.110/32 scope global ens192
       valid_lft forever preferred_lft forever
    inet6 fe80::250:56ff:fe94:c179/64 scope link 
       valid_lft forever preferred_lft forever

默认在 master 主机上，停掉 master 主机的 haproxy 服务，然后在用 ip addr 查看虚拟 ip 在哪个机器上，如果漂移到备份主机上则代表热备生效。

在开启 master 主机的 haproxy 服务，ip addr 查看虚拟ip应该重新漂移回 master 主机上。

测试服务，使用虚拟 ip 加服务端口号访问 HAProxy 服务。

至此，高可用的 rabbitmq 集群 和 haproxy 软负载就搭建完成。

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,088评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,715评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,361评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,099评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 60,987评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,063评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,486评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,175评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,440评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,190评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,550评论 3赞 298
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2赞 335