ActiveMQ redelivery/死信队列

在使用Message Queue的过程中,总会由于种种原因而导致消息失败。一个经典的场景是一个生成者向Queue中发消息,里面包含了一组邮件地址和邮件内容。而消费者从Queue中将消息一条条读出来,向指定邮件地址发送邮件。消费者在发送消息的过程中由于种种原因会导致失败,比如网络超时、当前邮件服务器不可用等。这样我们就希望建立一种机制,对于未发送成功的邮件再重新发送,也就是重新处理。重新处理超过一定次数还不成功,就放弃对该消息的处理,记录下来,继续对剩余消息进行处理。

ActiveMQ为我们实现了这一功能,叫做ReDelivery(重新投递)。当消费者在处理消息时有异常发生,会将消息重新放回Queue里,进行下一次处理。当超过重试次数时,会给broker发送一个"Poison ack",这个消息被认为是a poison pill(毒丸),这时broker会将这个消息发送到DLQ。

在以下四种情况中,ActiveMQ消息会被重发给客户端/消费者:

  • 在一个事务session中,并且调用了session.rollback()方法。
  • 在一个事务session中,session.commit()之前调用了commit.close()。
  • 在session中使用CLIENT_ACKNOWLEDGE签收模式,并且调用了session.recover()方法。
  • 在session中使用AUTO_ACKNOWLEDGE签收模式,在异步(messageListener)消费消息情况下,如果onMessage方法异常且没有被catch,此消息会被redelivery。

缺省情况下:持久消息过期,会被送到DLQ,非持久消息不会送到DLQ(不会redelivery)。

可以在connectionFactory中注入自定义的redeliveryPolicy来改变缺省参数:

    <bean id="redeliveryPolicy" class="org.apache.activemq.RedeliveryPolicy">
        <!--是否在每次尝试重新发送失败后,增长这个等待时间-->
        <property name="useExponentialBackOff" value="true"></property>
        <!--重发次数,默认为6次-->
        <property name="maximumRedeliveries" value="5"></property>
        <!--重发时间间隔,默认为1秒-->
        <property name="initialRedeliveryDelay" value="1000"></property>
        <!--第一次失败后重新发送之前等待500毫秒,第二次失败再等待500 * 2毫秒,这里的2就是value-->
        <property name="backOffMultiplier" value="2"></property>
        <!--最大传送延迟,只在useExponentialBackOff为true时有效,当重连间隔大于最大重连间隔时,以后每次重连间隔都为最大重连间隔。-->
        <property name="maximumRedeliveryDelay" value="1000"></property>
    </bean>


    <!-- 在ConnectionFactory中应用这个Policy。 -->

    <bean id="targetConnectionFactory" class="org.apache.activemq.ActiveMQConnectionFactory">
        <property name="brokerURL" value="tcp://188.166.236.173:61616"/>         
        <property name="redeliveryPolicy" ref="activeMQRedeliveryPolicy"/>
        <!-- <property name="useAsyncSend" value="true"/> 默认就是异步发送-->
    </bean>     

在ActiveMQ 服务端的conf/activemq.xmlzhong的broker节点下添加:

    <destinationPolicy>
        <policyMap>
          <policyEntries>
              <policyEntry queue=">">
                 <deadLetterStrategy>
                    <individualDeadLetterStrategy queuePrefix="DLQ." useQueueForQueueMessages="true" />
                    <!-- 如果不想将过期消息放到DLQ中
                    <sharedDeadLetterStrategy processExpired="false" />  
                    -->
                    <!-- 如果想将非持久消息放入DLQ
                    <sharedDeadLetterStrategy processNonPersistent="true" />
                    -->
                 </deadLetterStrategy>
              </policyEntry>

              <policyEntry topic=">" >
                <pendingMessageLimitStrategy>
                   <constantPendingMessageLimitStrategy limit="1000"/>
                </pendingMessageLimitStrategy>
              </policyEntry>
          </policyEntries>
        </policyMap>
    </destinationPolicy>

测试会重发消息(redelivery)的四种方法:

在一个事务session中,并且调用了session.rollback():

    <bean id="jmsQueueContainerForDLQ" class="org.springframework.jms.listener.DefaultMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory" />
        <property name="destination" ref="queueDestination" />
        <property name="messageListener" ref="consumerMessageListenerDLQ" />
        <!-- 如果支持事物的话,在接收消息后rollback会重发消息,进入死信队列,默认为false -->
        <property name="sessionTransacted" value="true" />
    </bean>

    public class ConsumerMessageListenerDLQ implements SessionAwareMessageListener<TextMessage> {
        public void onMessage(TextMessage message, Session session) {
            if(message instanceof TextMessage) {
                TextMessage textMessage = (TextMessage) message;
                try {
                        String text = textMessage.getText();
                        System.out.println(String.format("Received: %s",text));
                        if ("i want to redelivery".equals(text)){
                            throw new JMSException("process failed to test redelivery and DLQ");
                    }

                } catch (JMSException e) {
                    System.out.println("there is JMS exception: " + e.getMessage() );
                    //throw JmsUtils.convertJmsAccessException(e);
                    try {
                        session.rollback();
                    } catch (JMSException e1) {
                        e1.printStackTrace();
                    }
                }
            }
        }
    }

在一个事务session中,session.commit()之前调用了commit.close():

    <bean id="jmsQueueContainerForDLQ" class="org.springframework.jms.listener.DefaultMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory" />
        <property name="destination" ref="queueDestination" />
        <property name="messageListener" ref="consumerMessageListenerDLQ" />
        <!-- 如果支持事物的话,在接收消息后rollback会重发消息,进入死信队列,默认为false -->
        <property name="sessionTransacted" value="true" />
    </bean>

    public class ConsumerMessageListenerDLQ implements SessionAwareMessageListener<TextMessage> {
        public void onMessage(TextMessage message, Session session) {
            if(message instanceof TextMessage) {
                TextMessage textMessage = (TextMessage) message;
                try {
                        String text = textMessage.getText();
                        System.out.println(String.format("Received: %s",text));
                        if ("i want to redelivery".equals(text)){
                            throw new JMSException("process failed to test redelivery and DLQ");
                    }

                } catch (JMSException e) {
                    System.out.println("there is JMS exception: " + e.getMessage() );
                    //throw JmsUtils.convertJmsAccessException(e);
                    try {
                        session.close();
                    } catch (JMSException e1) {
                        e1.printStackTrace();
                    }
                }
            }
        }
    }

在session中使用CLIENT_ACKNOWLEDGE签收模式,并且调用了session.recover():

    <bean id="jmsQueueContainerForDLQ" class="org.springframework.jms.listener.DefaultMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory" />
        <property name="destination" ref="queueDestination" />
        <property name="messageListener" ref="consumerMessageListenerDLQ" />
        <!-- 自动应答模式消息不会重发,进入死信队列 -->
        <property name="sessionAcknowledgeMode" value="2"/>
    </bean>

    public class ConsumerMessageListenerDLQ implements SessionAwareMessageListener<TextMessage> {
        public void onMessage(TextMessage message, Session session) {
            if(message instanceof TextMessage) {
                TextMessage textMessage = (TextMessage) message;
                try {
                        String text = textMessage.getText();
                        System.out.println(String.format("Received: %s",text));
                        if ("i want to redelivery".equals(text)){
                            throw new JMSException("process failed to test redelivery and DLQ");
                    }

                } catch (JMSException e) {
                    System.out.println("there is JMS exception: " + e.getMessage() );
                    //throw JmsUtils.convertJmsAccessException(e);
                    try {
                        session.recover();
                    } catch (JMSException e1) {
                        e1.printStackTrace();
                    }
                }
            }
        }
    }

在session中使用AUTO_ACKNOWLEDGE签收模式,异步Listener的onMessage()异常未被捕捉:

    public class Listener implements MessageListener {
        public void onMessage(Message message) {
            int i = 8/0;//会导致redelivery
            try {
                if(message instanceof ActiveMQTextMessage){
                    ActiveMQTextMessage textMessage = (ActiveMQTextMessage) message;
                    System.out.println("收到的消息:" + textMessage.getText());                   }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

持久消息过期,会被送到DLQ:

    <!-- 定义JmsTemplate的Queue类型 -->
    <bean id="jmsQueueTemplate" class="org.springframework.jms.core.JmsTemplate">
        <!-- 这个connectionFactory对应的是我们定义的Spring提供的那个ConnectionFactory对象 -->
        <constructor-arg ref="connectionFactory" />
        <property name="messageConverter" ref="messageConverter"></property>
        <!-- 非pub/sub模型(发布/订阅),即队列模式 -->
        <property name="pubSubDomain" value="false" />
        <!-- 发送模式  DeliveryMode.NON_PERSISTENT=1:非持久 ; DeliveryMode.PERSISTENT=2:持久-->
        <property name="deliveryMode" value="2" />
        <!-- 2秒后过期,这个对点对点模式有效 -->
        <property name="timeToLive" value="2000" />
    </bean>

Junit测试:

@Test
public void testDLQ() throws  Exception{
    //jpaUserService.findOne("3");
    for(int i = 1;i<=10;i++){
        queueProducer.sendMessages("我是第"+i+"个");
    }
    Thread.sleep(50000);
    System.out.print("全部执行完毕!!!");
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 195,898评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,401评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,058评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,539评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,382评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,319评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,706评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,370评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,664评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,715评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,476评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,326评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,730评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,003评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,275评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,683评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,877评论 2 335

推荐阅读更多精彩内容

  • ActiveMQ 即时通讯服务 浅析http://www.cnblogs.com/hoojo/p/active_m...
    bboymonk阅读 1,473评论 0 11
  • 消息中间件 消息中间件有很多的用途和优点: 1. 将数据从一个应用程序传送到另一个应用程序,或者从软件的一个模块传...
    错位的季节阅读 771评论 0 1
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,510评论 18 139
  • 用什么药 让我痊愈? 除非那个人 回心转意 试着让自己 死一回 依然唤不他一丝怜悯 死了又有何用? 在别人眼里 什...
    98ae0474329c阅读 262评论 4 8