轻量消息中间件NATS与NSQ的介绍和比较

NATS

1. 语言

  • server:GO
  • 官方支持client库:GO、C等

2. 设计特点

  • 高效
  • 稳定可用
  • 轻量
  • 支持多种消息策略(at-most-once,at-least-once)
  • 支持多种模式
  • streaming下提供可配置的消息持久化

3. 多种消息发布模式

  • 生产-消费(发布-订阅)模式
    • 一对多
    • 两种策略:
      at-most-once(只保证w/tcp的可靠性):消息无接受者时,则该消息丢失。即消息发送后不关心是否有接收。该策略以降低可靠性换取了性能(吞吐量)。可靠性由使用者自行设计保证。
      at-least-once:在消息可靠性要求更高的场合,使用nats streaming。监控消息是否到达每一个订阅者。降低性能(吞吐量)换取可靠性。
  • 请求-响应模式
    • 点对点/一对多。
    • 发布者发布消息需要收到响应。接受者可提前将响应放入“信箱”中。发布者只接收第一个响应。(如何配置一对多模型接收多个响应?)
  • 队列订阅与协同工作
    • 订阅的不是主题,而是队列。是一种负载均衡和容灾策略。
    • 队列中每个消息,随机发给一个订阅者。订阅者数量可随时增减。 (具体如何分配合适的订阅者?)

4. 包含组件

  • nats-server at-most-once策略下的server
  • nats-streaming-server at-least-once策略下的server
  • nats-req
  • nats-rply

5. 部署


nats-server -p 4222 -cluster nats://localhost:6222 -routes nats://localhost:6222,nats://localhost:6333
client监听端口 4222,集群监听端口6222,所有集群通信端口6222(本server忽略)、6333

6. 小结

nats轻量易用,可完成消息传输的基本功能,具有消息确认机制和持久化接口。不足之处在于消息确认管理和持久化具体方法需要用户自行实现。总的来说,nats提供的是最基本的功能。消息由订阅者创建,默认大小限制1MB

NSQ

1. 语言

  • 开发语言 go
  • client支持语言go,c++(部分支持)等

2. 设计特点

  • 支持拓扑,实现高可用性并消除SPOF
  • 解决了对更强大的消息传递可靠性的需求
  • 限制单个进程的内存占用(通过将某些消息保存到磁盘)
  • 大大简化了生产者和消费者的配置要求
  • 提供简单的升级途径
  • 提高效率

3. 组件及概念

  • nsqd 每个host上有一个nsqd。包含一个或多个消息流即topic,每个topic可以有多个channel,各channel是该topic相互独立的队列。生产者通过nsqd广播生产的消息。
  • nsqlookupd 服务发现辅助进程。消费者通过nsqlookupd找到关心topics所在的host,channel等信息,与nsqd直接通信。nsqlookupd通过tcp与各nsqd连接。
  • nsqadmin 基于web的可视化集群监控和管理服务。

4. 可靠性机制

  • 消息传输采用 at-least-once
  • 协议保证: nsqd 发送消息,并暂存;client响应消息;如果nsqd未收到响应,则消息自动重排列(?)
  • 缺陷:nsqd出错,则会丢失该nsqd暂存的消息。(可一定程度配置队列的持久化,即限制内存中消息的数量)

5. 部署/使用

启动nsqlookupd
nsqlookupd
启动nsqd
nsqd --lookupd-tcp-address=127.0.0.1:4160
producer发布消息
curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=test'
consumer接收消息
nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161
后台管理
nsqadmin --lookupd-http-address=127.0.0.1:4161

6. 小结

nsq也具有轻量易用的特点,通过服务发现构建订阅关系,具有完善的消息确认机制,以及直接可用的一定程度持久化措施。不足之处在于各节点定位对称,负载不平衡时需要其他策略进行处理。而且直接由生产者和消费者进行通信,在通信量大时网络资源消耗量大(重复建立可靠连接)。

NATS与NSQ的比较

在通信规模不大的场景下,使用NSQ可以发挥使用简洁(nsqd不用可见其他nsqd)和可靠的确认机制,但需要注意nsqd驻留内存的部分消息,可能在进程失效时丢失。需要考虑负载均衡或大规模通信量的情况下,采用NATS更为适合,但其消息传输的持久化和可靠性需要自行增加策略和实现。

参考资料

NAST官方文档
NSQ官方文档

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容

  • 1. 介绍 最近在研究一些消息中间件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一个基...
    aoho阅读 8,915评论 1 16
  • 在介绍NATS之前先了解下什么是分布式系统和消息中间件 对于分布式系统的定义,一直以来我都没有找到或者想到特别简练...
    Java大生阅读 2,372评论 0 0
  • 一、为什么需要消息系统 1.解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余...
    为你变乖_09e6阅读 857评论 0 8
  • 一、入门1、简介Kafka is a distributed,partitioned,replicated com...
    HxLiang阅读 3,339评论 0 9
  • 此番行程:2016.9.30-10.6上海-苏州-盛泽-杭州-临安-太仓-上海-郑州 上海不眠夜, 苏州匆匆...
    牧心3320阅读 260评论 0 2