RabbitMQ in Action(二)

RabbitMQ集群

集群架构

RabbitMQ始终记录以下4种类型的数据

  • 队列元数据:队列名称、属性(是否持久化,是否自动删除)。
  • 交换器元数据:交换器名称、类型、属性(是否持久化)。
  • 绑定元数据:消息路由到队列的规则。
  • vhsot元数据:为vhost内的队列、交换器和绑定提供命名空间和安全属性。

在单一结点内,RabbitMQ会将以上所有信息存储在内存中,同时将被标记为可持久化的队列、交换器和它们的绑定存储到硬盘上。

集群中的队列

在集群中创建队列,只会在单个节点而不是所有的节点上创建完整的队列信息,只有队列的所有者拥有队列的所有信息,非所有者节点只拥有队列的元数据和指向该队列存在的节点的指针。存储空间和性能考虑

集群中的交换器

集群中每个节点拥有每个交换器的完整信息。

集群中的节点

内存节点和磁盘节点

  • 单节点系统只允许磁盘类型的节点,否则每次重启后,所有关于系统的配置信息都会丢失。
  • 集群中至少有一个磁盘节点,当节点加入或离开集群时,必须要将变更通知到至少一个磁盘节点。
  • 集群中唯一磁盘节点奔溃,集群仍可保持运行,但其恢复前不能执行更改操作
  • 当需要添加或删除集群节点时,所有的磁盘节点必须在线。

集群配置

配置前

  • 关闭节点:rabbitmqctl stop

启动前

  • 禁用插件:防止插件监听的端口产生冲突。

调用rabbitmq-server

  • 设置节点名称:环境变量RABBITMQ_NODENAME
  • 设置端口:环境变量BABBITMQ_NODE_PORT

启动节点
BABBITMQ_NODE_PORT=5672 RABBITMQ_NODENAME=rabbit rabbitmq-server -detached(默认端口:5672,默认节点名称:rabbit)

  • 停止RabbitMQ应用程序:rabbitmqctl -n rabbit_1@hostname stop_app
  • 清空元数据,重置节点状态:rabbitmqctl -n rabbit_1@hostname reset
  • 加入到第一个集群节点:rabbitmqctl -n rabbit_1@hostname cluster rabbit@hostname rabbit_1@hostname-n参数:在指定节点上执行命令而非默认节点;cluster后面的参数:指定集群中的磁盘节点。
  • 启动RabbitMQ应用程序:rabbitmqctl -n rabbit_1@hostname start_app

查看集群rabbitmqctl cluster_status

升级集群

  • 备份配置
  • 关闭生产者
  • 等待消费者消费完成队列(排空操作,2.6.0+后可不进行)

镜像队列(2.6.0+)

镜像队列的主拷贝仅存在一个节点(主队列,master)上,可在集群中其它节点上拥有从队列(slave)拷贝。
若队列主节点不可用,最老的从队列将被升级为新的主队列。

声明镜像队列

  • 设置声明队列时的参数:x-ha-policy
  • queue_args={"x-ha-policy":"all"}all指定镜像到集群中的所有节点上
  • channel.queue_declare(queue="queue_name",arguments=queue_args)

查看队列的镜像信息

  • rabbitmqctl list_queue name pid slave_pids,参数分别为:队列名称,队列主拷贝的Erlang进程ID,其它节点的从拷贝列表

指定镜像的目标节点(2.7.0+)

  • 设置声明队列时的参数:x-ha-policyx-ha-policy-params
  • queue_args={"x-ha-policy":"nodes","x-ha-policy-params":["rabbit@hostname"]}all指定镜像到集群中的所有节点上
  • channel.queue_declare(queue="queue_name",arguments=queue_args)

新增的从拷贝只会存在自身被添加后从镜像队列发来的消息,(2.7.0前)不会和已存在的内容进行同步。旧消息消费后队列拷贝才会一致。

检测已有的队列拷贝是否一致

  • 列出队列时增加参数:synchronised_slave_pids
  • rabbitmqctl list_queue name pid slave_pids sychronised_slave_pids,查看括号内pids是否一致即可。一致时才可从集群中移除节点

镜像队列工作原理

镜像队列中

  • 消息-(路由绑定规则)→合适的队列 && 镜像队列的从拷贝。
  • 所有队列和队列的从拷贝安全地接收到消息后确认收到。

主拷贝节点故障

  • 该队列的消费者→重新附加并监听新的队列主拷贝。
  • 连接到故障节点的消费者(直连):失去TCP连接,重新附加到集群中新节点,自动选取新的队列主拷贝。
  • 连接通过该节点附加的镜像队列的消费者:将收到Rabbit的取消通知。若AMQP客户端支持通知,则抛出异常,且重新附加;若不支持通知,未消费的消息将塞满队列。

因此,如果客户端库不支持消费者取消通知的话,应该避免使用镜像队列。

安全起见:已经消费但尚未被确认的消息会重入队到它们原来所在的队列位置。(2.7.0前)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容

  • RabbitMQ采用Erlang编写,需安装语言库才能运行RabbitMQ代理服务器。AMQP:高级消息队列协议。...
    JAVA觅音阁阅读 3,553评论 0 7
  • 整体架构 部署步骤 基于 Docker 基本概念内存节点只保存状态到内存,例外情况是:持久的 queue 的内容将...
    mvictor阅读 12,730评论 5 30
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    预流阅读 584,205评论 51 785
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,517评论 18 139
  • Yum安装RabbitMQ3.6.11与Erlange20配置及优化 RabbitMQ简介 AMQP,即Advan...
    三杯水Plus阅读 4,500评论 0 7