RabbitMQ集群HA搭建

集群概述

通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。

这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制。本方案中搭建 2 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务。

环境

CentOS7.2
RabbitMQ 3.6.5
HAproxy

RabbitMQ集群安装在2个节点上:10.2.2.155、10.2.2.156、10.2.2.157

HAproxy安装在10.2.2.155上,用于对外提供RabbitMQ负载均衡。

软件包下载地址

http://pan.baidu.com/s/1c24CMAG

配置步骤

1、安装erlang、RabbitMQ

在10.2.2.155、10.2.2.156、10.2.2.157上安装

erlang安装

安装依赖包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

编译安装

tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile

输入erl出现命令行证明安装成功。

RabbitMQ安装

编译安装

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
vim /etc/profile
export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin

导入RabbitMQ地管理界面

rabbitmq-plugins enable rabbitmq_management 

2、修改/etc/hosts

写下

10.2.2.155 node1
10.2.2.156 node2
10.2.2.157 node3

3、设置Erlang Cookie

找到Erlang Cookie 文件.erlang.cookie的位置

官方在介绍集群的文档中提到过.erlang.cookie一般会存在这两个地址:第一个是$home/.erlang.cookie;第二个地方就是/var/lib/rabbitmq/.erlang.cookie。

如果我们使用解压缩方式安装部署的rabbitmq,那么这个文件会在${home}目录下,也就是$home/.erlang.cookie。
如果我们使用rpm等安装包方式进行安装的,那么这个文件会在/var/lib/rabbitmq目录下。

这里将 node1 的该文件复制到 node2、node3,注意这个文件的权限是 400。

4. 使用 -detached 参数运行各节点

rabbitmqctl stop
rabbitmq-server -detached

由于guest这个用户,只能在本地访问,所以我们要新增一个用户并赋予权限:

添加用户并设置密码:

rabbitmqctl add_user admin QQzjUUw*

添加权限:

rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"

修改用户角色

rabbitmqctl set_user_tags admin administrator

然后就可以远程访问了,然后可直接配置用户权限等信息。

到此,就可以通过http://ip:15672 使用admin QQzjUUw* 进行登陆了

到这里的话,每个节点是作为单独的一台RabbitMQ存在的,也可以正常提供服务了。

5、组成集群

将 node2、node3与 node1 组成集群:

node2# rabbitmqctl stop_app

node2# rabbitmqctl join_cluster rabbit@node1

node2# rabbitmqctl start_app

此时 node2 与 node3 也会自动建立连接;如果要使用内存节点,则可以使用

node2 # rabbitmqctl join_cluster --ram rabbit@node1

加入集群。

集群配置好后,可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。

6. 设置镜像队列策略

在任意一个节点上执行:

rabbitmqctl set_policy -p /core ha-all "^" '{"ha-mode":"all"}'

/core vhost名称, "^"匹配所有的队列, ha-all 策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点,包含新增节点。

最后设置完毕后Queues栏下应该是这样的

queues

列表内没policy这一项的同学可以点右边的+号添加。

将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态保持一直。

完成这 6 个步骤后,RabbitMQ 高可用集群就已经搭建好了,最后一个步骤就是搭建均衡器。

7. 安装并配置 HAProxy

在10.2.2.155上安装HAProxy,然后修改 /etc/haproxy/haproxy.cfg:

global 
    
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    stats socket /var/lib/haproxy/stats

defaults 
       log        global 
       mode       tcp 
       option     tcplog 
       option     dontlognull 
       retries    3 
       option redispatch 
       maxconn 2000 
       contimeout      5s 
       clitimeout      120s 
       srvtimeout      120s 

listen rabbitmq_cluster 10.2.2.155:5670
       mode      tcp 
       balance roundrobin 
       server rabbit1  10.2.2.155:5672 check inter 5000 rise 2 fall 2 
       server rabbit2  10.2.2.156:5672 check inter 5000 rise 2 fall 2 

listen private_monitoring :8100 
       mode    http 
       option  httplog 
       stats   enable 
       stats   uri  /rabbitmqstats
       stats   refresh 5s

重启HAProxy

service haproxy restart

登录浏览器输入地址http://10.2.2.155:8100/rabbitmqstats查看HAProxy的状态

常见错误:

一、

使用 sudo rabbitmq-server -detached命令启动rabbitmq时,出现以下提示
Warning: PID file not written; -detached was passed.
ERROR: node with name "rabbit" already running
但是,通过命令sudo rabbitmqctl status又提示rabbitmq没有启动
解决:
ps aux | grep erl
kill -9 该进程

二、
rabbitmqctl stop_app 仅关闭应用,不关闭节点
rabbitmqctl start_app 开启应用
rabbitmq--server -detached 启动节点和应用
rabbitmqctl 关闭节点和应用

常用命令

Rabbitmq服务器的主要通过rabbitmqctl和rabbimq-plugins两个工具来管理,以下是一些常用功能。

1). 服务器启动与关闭

  启动: rabbitmq-server –detached
  关闭:rabbitmqctl stop
  若单机有多个实例,则在rabbitmqctlh后加–n 指定名称

2). 插件管理

  开启某个插件:rabbitmq-pluginsenable xxx
  关闭某个插件:rabbitmq-pluginsdisablexxx
  注意:重启服务器后生效。

3).virtual_host管理

  新建virtual_host: rabbitmqctladd_vhost  xxx
  撤销virtual_host:rabbitmqctl  delete_vhost xxx

4). 用户管理

  新建用户:rabbitmqctl add_user xxxpwd
  删除用户:   rabbitmqctl delete_user xxx
  改密码: rabbimqctlchange_password {username} {newpassword}
  设置用户角色:rabbitmqctlset_user_tags {username} {tag ...}
          Tag可以为 administrator,monitoring, management

5). 权限管理

  权限设置:set_permissions [-pvhostpath] {user} {conf} {write} {read}
           Vhostpath
           Vhost路径
           user
  用户名
          Conf
  一个正则表达式match哪些配置资源能够被该用户访问。
          Write
  一个正则表达式match哪些配置资源能够被该用户读。
           Read
  一个正则表达式match哪些配置资源能够被该用户访问。

6). 获取服务器状态信息

  服务器状态:rabbitmqctl status

7).获取集群状态信息

rabbitmqctl cluster_status
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容