八、RocketMQ实践方案

1、Broker 的最佳实践

Broker Role

Broker Role有ASYNC_MASTER,SYNC_MASTER或SLAVE。如果您无法容忍消息丢失,我们建议您部署SYNC_MASTER并为其附加SLAVE。如果您容忍一少部分消息丢失,但希望Broker始终可用,则可以使用SLAVE部署ASYNC_MASTER。如果你只是想让它变得简单,你可能只需要一个没有SLAVE的ASYNC_MASTER。

FlushDiskType 刷新磁盘的类型

建议使用ASYNC_FLUSH,因为SYNC_FLUSH价格昂贵且会导致性能损失过大。如果您需要可靠性,我们建议您使用带有SLAVE的SYNC_MASTER。


2、NameServer的最佳实践

在Apache RocketMQ中,NameServer旨在协调分布式系统的每个组件,协调主要通过管理主题路由信息来实现。

管理由两部分组成:

  • broker定期更新每个NameServer中保存的元数据。
  • NameServer为客户端提供服务,包括生产者,消费者和命令行客户端以及最新的路由信息​​。

因此,在启动broker和client之前,我们需要告诉他们NameServer地址来访问 NameServer。在Apache RocketMQ中,这可以通过四种方式完成。

Programmatic Way

对于代理,我们可以namesrvAddr=name-server-ip1:port;name-server-ip2:port在代理配置文件中指定。

对于生产者和消费者,我们可以向他们提供NameServer地址列表,如下所示:

DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
producer.setNamesrvAddr("name-server1-ip:port;name-server2-ip:port");

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name");
consumer.setNamesrvAddr("name-server1-ip:port;name-server2-ip:port");

如果从shell使用admin命令行,也可以这样指定:

sh mqadmin command-name -n name-server-ip1:port;name-server-ip2:port -X OTHER-OPTION

一个简单的例子是: sh mqadmin -n localhost:9876 clusterList 假设在NameServer节点上查询集群信息。

如果您已将管理工具集成到自己的仪表板中,则可以:

DefaultMQAdminExt defaultMQAdminExt = new DefaultMQAdminExt("please_rename_unique_group_name");
defaultMQAdminExt.setNamesrvAddr("name-server1-ip:port;name-server2-ip:port");

Java Options

NameServer地址列表也可以通过rocketmq.namesrv.addr在启动之前指定续集java选项来提供给您的应用程序 。

Environment Variable

您可以导出NAMESRV_ADDR环境变量。如果设置,broker和client将检查并使用其值。

HTTP Endpoint

如果您未使用前面提到的方法指定名称服务器地址列表,Apache RocketMQ将访问以下HTTP端点,每两分钟获取并更新名称服务器地址列表,初始延迟为10秒。

默认情况下,结束点是:

http://jmenv.tbsite.net:8080/rocketmq/nsaddr

您可以jmenv.tbsite.net使用此Java选项覆盖:rocketmq.namesrv.domain,您也可以nsaddr使用此Java选项覆盖part:rocketmq.namesrv.domain.subgroup

如果您正在生产中运行Apache RocketMQ,建议使用此方法,因为它为您提供了最大的灵活性 - 您可以根据名称服务器的系统负载动态添加或删除名称服务器节点,而无需重新启动代理和客户端。

优先

首先介绍的方法优先于后者:
Programmatic Way > Java Options > Environment Variable > HTTP Endpoint


3、Producer最佳实践

SendStatus

发送消息时,您将获得包含SendStatus的SendResult。首先,我们假设Message的isWaitStoreMsgOK = true(默认为true)。如果没有,如果没有抛出异常,我们将始终获得SEND_OK。以下是每个状态的说明列表:

FLUSH_DISK_TIMEOUT

如果Broker设置MessageStoreConfig的FlushDiskType = SYNC_FLUSH(默认为ASYNC_FLUSH),并且Broker没有在MessageStoreConfig的syncFlushTimeout(默认为5秒)内完成刷新磁盘,您将获得此状态。

FLUSH_SLAVE_TIMEOUT

如果Broker的角色是SYNC_MASTER(默认为ASYNC_MASTER),并且从属Broker未在MessageStoreConfig的syncFlushTimeout(默认为5秒)内完成与主服务器的同步,则您将获得此状态。

SLAVE_NOT_AVAILABLE

如果Broker的角色是SYNC_MASTER(默认为ASYNC_MASTER),但没有配置slave Broker,您将获得此状态。

SEND_OK

SEND_OK并不意味着它是可靠的。要确保不会丢失任何消息,还应启用SYNC_MASTER或SYNC_FLUSH。

复制或丢失

如果你得到FLUSH_DISK_TIMEOUT,FLUSH_SLAVE_TIMEOUT并且Broker正好关闭,你可以找到你的消息丢失。此时,您有两个选择,一个是放手,这可能会导致此消息丢失; 另一种方法是重新发送消息,这可能会使消息重复。通常我们建议重新发送并找到一种方法来处理消费时的重复删除。除非你觉得某些消息丢失并不重要。但请记住,当您获得SLAVE_NOT_AVAILABLE时,重新发送是无用的。如果发生这种情况,您应该保留场景并提醒群集管理器。

超时

客户端向Broker发送请求,并等待响应,但如果最大等待时间已过,并且未返回任何响应,则客户端将抛出RemotingTimeoutException。默认等待时间为3秒。您还可以使用send(msg,timeout)而不是send(msg)传递超时参数。请注意,我们不建议等待时间太小,因为Broker需要一些时间来刷新磁盘或与从站同步。如果该值超过syncFlushTimeout,则该值可能影响不大,因为Broker可能会在超时之前返回FLUSH_SLAVE_TIMEOUT或FLUSH_SLAVE_TIMEOUT的响应。

消息大小

我们建议消息的大小不应超过512K。

异步发送

默认发送(msg)将阻塞,直到返回响应。因此,如果您关心性能,我们建议您使用send(msg,回调),它将以异步方式运行。

Producer Group

通常,生产者组没有任何影响。但是如果存在事务,你应该注意它。默认情况下,您只能在同一个JVM中创建一个具有相同生产者组的生产者,这通常就足够了。

线程安全

生产者是线程安全的,您可以在业务解决方案中使用它。

性能

如果您希望在一个JVM中有多个生产者进行大数据处理,我们建议:

  • use async sending with a few producers (3~5 is enough)
  • 每个生产者的设置不同的实例名称

4、Consumer最佳实践

Consumer群体和订阅

您应该注意的第一件事是,不同的消费者组可以独立地使用相同的主题,并且每个消费者组都有自己的消费抵消。请确保同一组内的每个消费者订阅相同的主题。

消息监听

Orderly有顺序地

消费者将锁定每个MessageQueue以确保它按顺序逐个使用。这会导致性能下降,但是当您关心消息的顺序时它会很有用。不建议抛出异常,您可以返回ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT。

Concurrently同时

顾名思义,Consumer将同时使用这些消息。建议使用它以获得良好的性能。不建议抛出异常,您可以返回ConsumeConcurrentlyStatus.RECONSUME_LATER。

Consume Status消费状况

对于MessageListenerConcurrently,您可以返回RECONSUME_LATER以告诉消费者您现在不能使用它并希望稍后重新生成它。然后,您可以继续使用其他消息。对于MessageListenerOrderly,因为您关心订单,所以不能跳过邮件,但是您可以返回SUSPEND_CURRENT_QUEUE_A_MOMENT来告诉消费者等待片刻。

Blocking闭塞

不建议阻止监听器,因为它会阻塞线程池,最终可能会停止使用过程。

Thread Number线程号

使用者使用ThreadPoolExecutor在内部处理消费,因此您可以通过设置setConsumeThreadMin或setConsumeThreadMax来更改它。

ConsumeFromWhere

建立新的消费者群体时,需要决定是否需要消费已经存在于经纪人中的历史消息。CONSUME_FROM_LAST_OFFSET将忽略历史消息,并消耗之后生成的任何内容。CONSUME_FROM_FIRST_OFFSET将使用Broker中存在的每条消息。您还可以使用CONSUME_FROM_TIMESTAMP来使用在指定时间戳之后生成的消息。

重复消费问题

许多情况都可能导致重复消费问题,例如:

  • 生产者重新发送消息(即,在FLUSH_SLAVE_TIMEOUT的情况下)
  • 消费者关闭,一些抵消未及时更新到broker。

因此,如果您的应用程序无法容忍重复,您可能需要执行一些外部工作来处理此问题。例如,您可以检查数据库的主键。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容