if我是一名前端Dev,在我项目的技术栈中有这样一个工具:RabbitMQ。
当我们寻找技术资料的时候,几乎都是先讲RabbitMQ的内部概念,再附加上几个应用场景。
我明白这样介绍的目的是为了我们能够理解,但是事与愿违,实际上要经过上面的过程,你会发现很难起到明显的作用,仍旧不知道什么时候用,怎么用。原因主要有两个吧:
1,不像前端开发工具那样,和另外一个工具比较着就能逐渐学会;
2,涉及不到使用MQ的场景;
所以我用和MQ类似的前端技术来讲,看看是不是能够讲MQ讲明白。
一旦遇到RabbitMQ,我们只需要将焦点MQ(Message Queue)这两个字母上,因为MQ才是核心,而MQ的实现又有很多中,如:RabbitMQ、Kafka。这些不同的实现涉及不同的业务需求场景,但其核心思想都是MQ。
所以,要了解RabbitMQ,就需要先弄明白什么是MQ(Message Queue)。
什么是MQ?
Message Queue:
是一个处理消息的服务,这服务聚焦的工作就是接收和发送消息。为了可靠性、可用性、高性能等不同场景的需求,又扩展出适合不同场景的MQ产品,比如说Kafka,RabbitMQ。
看完描述简介,我问了自己一个问题:
“如果我们自己实现一个MQ(聚焦接收和发送消息的服务),会是一个什么结构呢?”
应该至少包含三部分吧:
1,消息发送(生产者);
2,消息处理;
3,消息接收(消费者)。
“回想一下上面这个结构和你所接触的技术中的什么技术的什么环节很相似?”
我第一时间想到的如下几个场景:
1,公共变量的设置和使用;
2,前端技术中对cookie和localstorage的设置和使用;
3,对HTTP请求做了封装的调用;
4,Javascript中的事件绑定和触发;
...
我个人觉得Js中的事件绑定和消费和MQ是很相似的:
1,JS为Button绑定一个触发,即建立一个映射关系;
2,点击Button触发事件,产生消息;
3,浏览器找到响应的事件并触发,消息处理;
4,事件内部逻辑执行,消费消息。
与第一张MQ的构想图构想图相比,多了1步:关系的绑定。其实MQ中也是有这层关系的,否则无法实现生产者产生的消息,被指定的消费者来消费,MQ中的Binding的概念就是绑定这层关系。
MQ类似于浏览器对JS中的事件的处理。再补充一点,MQ在业务上结构,异步的处理消息。浏览器中JS事件也可以异步,避免阻塞当前的流程。
“我们构想一下JS中的异步有哪些应用场景?”
我在下面罗列了一下:
1,在某个流程中,发送异步信息通知后端服务器,而不用等待通知发送完成;
2,如果有多个handler绑定到一个event上,当触发event是,会有多个handler执行;
3,我们再来参考一下Node.js,当接收到大量请求是,并不会立即处理这些请求,而是放入event pool,Node.js自己调度这些event。这样提高了并发的访问量;
...
是的,MQ基本上也是实现了上述场景的功能,只是实现原理不同,我么先看看MQ的使用场景,再看看RabbitMQ的内部是如何实现的:
1,在某个流程中,有一些逻辑必须执行,但并不需要立即执行的的场景。那么我们可以将这部分逻辑拆分出去,然后通过MQ触发执行。
2,某个业务场景中,出现一对多通知的时候时候。我们可以考虑使用MQ而不是遍历所有接收方。
例如:学生线上购买课程的流程,提交选课后会影响到:教师看到的学生名单、学生课表、学生行为记录、学生看到的结果短信、网站看到的课程订阅数量等等;
我们可以通过MQ约定channel_A, 当提交选课后,触发channel_A,所有订阅了channel_A的终端,都会并行的收到信息,并行处理相关的业务逻辑;
(当然上面的逻辑当然还有很多方式来实现,例如:通过多个线程;串行的发送异步消息。)
3,在做数据收集时有大量的数据请求过来时。
比如: 一个日志系统,需要收集各类日志,集中处理。因此是一个写操作比较多的业务,来自系统的各个日志有可能集中爆发,会把日志写入撑爆,有一种方案就是将各方的日志都先进到MQ中,来做缓冲,写操作根据能力来处理写操作,避免收集和写入的不对称。
这个场景类似于前端的列表更新,当有大量数据需要显示,前端可以分页加载,避免前端因为大量渲染而卡顿,这和MQ起到的是类似的作用。
那么总结一下,MQ能做什么?
1,将同步变异步
2,能做用来做消息分发
3,能够做消息的缓冲区
当然不止以上场景,那么看完后面的内容,我们可以继续丰富MQ的使用场景。
RabbitMQ的内部结构
RabbitMQ是MQ的一种实现方式,它是由Erlang编写的(Erlang能够带来高性能,Erlang带来的性能应该是衡量选型RabbitMQ的一个直观条件)。
我们一张RabbitMQ较为完整的架构图,然后详细介绍其中每个部分的作用
RabbitMQ的内部结构的解释,如下表:
概念 |
---|
Producer |
生产者:消息发送者 |
Consumer |
消费者:消息接收者 |
Broker |
接收和分发消息的应用 |
virtual host |
一个broker中包含了多个virtual host,virtual host起到了隔离的作用,一个virtual有独立的exchange、binding、queue |
Exchange |
Producer 发送数据到exchange,exchange接收消息并将消息路由给服务器的queue |
Queue |
消息队列,用来存储message,消费者指定对应的queue进行消费 |
Binding |
将exchange和queue进行绑定,并制定路由的routingkey,生产者将消息传递给exchange,根据绑定的信息和路由routingkey将消息分发给queue |
Message |
它由消息头和消息体组成,消息体是不透明的,而消息头则有一些可选的属性组成。这些属性包括routing-key、priority、delevery-mode等 |
Retro
读到这里,已经大致讲明了Rabbit的内部结构,以及作用。如果是实践感兴趣可以继续了解如何配置RabbitMQ,RabbitMQ的调用,优先级设置。
如果是一名前端Dev,我们也鼓励去尝试,不过我们需要回顾一下,MQ的作用、用途。
功能上,我们使用MQ来提供异步、数据缓冲。
架构上,例如微服务架构下实现进程间通信的一种方式:“傻瓜管道”(dumb pipes),使用RabbitMQ等提供可靠的异步机制。划定服务边界。
完。
PS:如果你发现文章中有错误,请留言提出。
扩展阅读:
《RabbitMQ介绍》
《浅谈消息机制RabbitMQ》
《Thoughtwork洞见-微服务文集》