2.Work Queues#前山翻译

注:这是RabbitMQ-java版Client的指导教程翻译系列文章,欢迎大家批评指正
第一篇Hello Word了解RabbitMQ的基本用法
第二篇Work Queues介绍队列的使用
第三篇Publish/Subscribe介绍转换器以及其中fanout类型
第四篇Routing介绍direct类型转换器
第五篇Topics介绍topic类型转换器
第六篇RPC介绍远程调用

Work Queues

java-two.png

在第一篇指导教程中,我们写到应用去发送消息到队列中和从队列中取出消息。在这篇教程中将会创建一个工作队列,用于在多个工作者间按效率分配任务。

工作队列的主要思想是避免马上去做一件消耗资源的任务,而可以等着它完成。换句话说分配任务可以稍后去完成。我们把一个任务当作一个消息,然后发送到一个队列中。一个后台执行的工作进程就可以取出任务,并且最终执行这项任务。当你运行多个工作者的时候,许多工作就可以在这些工作者之间共享完成。

这个概念在web应用中尤其有用,web应用一般是在简短的http请求中去处理复杂的任务。

准备工作(Preparation)

在上篇指导教程中我们发送一条包含字符串Hello World的信息,现在我们将发送代表复杂任务的字符串。我们并没有真正的工作任务,像图片的压缩,或者渲染pdf文件。因此我们通过假装很忙去实现它-使用线程睡眠的功能。我们将字符串中每个小点都当作一个复杂的任务,每一个小点都需要一秒的工作时间。例如,一个伪装的项目为“Hello...”需要三秒来完成。

我们将对以前例子中的Send.java类中稍作修改,允许通过命令行发送任意的消息。这个程序将会分配任务到我们的工作队列中,因此命名为NewTask.java:

String message = getMessage(argv);

channel.basicPublish("", "hello", null, message.getBytes());

System.out.println(" [x] Sent '" + message + "'");

从命令行的参数中获取到消息:

private static String getMessage(String[] strings){

    if (strings.length < 1)

    return "Hello World!";

    return joinStrings(strings, ".");

}

    private static String joinStrings(String[] strings, String delimiter) {

        int length = strings.length;

        if (length == 0) return "";

        StringBuilder words = new StringBuilder(strings[0]);

        for (int i = 1; i < length; i++) {

        words.append(delimiter).append(strings[i]);

        }

    return words.toString();

}

以前例子中的Recv.java也需要做一些修改:它需要在消息中对每一个小点做一个一秒的消耗,将处理被分发到的的消息并最终完成任务。因此命名为Work.java:

final Consumer consumer = new DefaultConsumer(channel) {

    @Override

    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {

    String message = new String(body, "UTF-8");

    System.out.println(" [x] Received '" + message + "'");

    try {

        doWork(message);

    } finally {

        System.out.println(" [x] Done");

    }

   }

};

boolean autoAck = true; // acknowledgment is covered below消息的应答机制

channel.basicConsume(TASK_QUEUE_NAME, autoAck, consumer);  //接受消息的监听

捏造的任务需要计算时间:

private static void doWork(String task) throws InterruptedException {

    for (char ch: task.toCharArray()) {

        if (ch == '.') Thread.sleep(1000);

    }

}

编译它们就像在上一篇指导教程中一样

javac -cp $CP NewTask.java Worker.java

循环分发机制(Round-robin dispatching)

创建一个队列的优势之一就是可以方面的同时做各个任务,如果我们需要处理大量挤压的工作,只需要增加更多工作者就可以解决。

第一步同时运行两个工作者应用,它们将都会从队列中获取到消息。但是如何获取呢,我们拭目以待。

需要把三个控制台打开,两个运行工作者应用,也就是我们的两个消费者:C1和C2。

# shell 1

java -cp $CP Worker

# => [*] Waiting for messages. To exit press CTRL+C

# shell 2

java -cp $CP Worker

# => [*] Waiting for messages. To exit press CTRL+C

第三个用来发布新的任务,只要先创建好了消费者,你就发布一些消息:

# shell 3

java -cp $CP NewTask

# => First message.

java -cp $CP NewTask

# => Second message..

java -cp $CP NewTask

# => Third message...

java -cp $CP NewTask

# => Fourth message....

java -cp $CP NewTask

# => Fifth message.....

我们来看看是如何分发给工作者的:

java -cp $CP Worker

# => [*] Waiting for messages. To exit press CTRL+C

# => [x] Received 'First message.'

# => [x] Received 'Third message...'

# => [x] Received 'Fifth message.....'

java -cp $CP Worker

# => [*] Waiting for messages. To exit press CTRL+C

# => [x] Received 'Second message..'

# => [x] Received 'Fourth message....'

以上可见,RabbitMQ默认的方式是有序的发送消息给每一个消费者,一般每个消费者都会持有相同数目的消息。这种分发消息的方式叫做循环分发机制(round-robin)。可以尝试三个或者更多的工作者。

消息应答机制(Message acknowledgment)

完成一项任务需要花费一些时间。你可能会想:当一个消费者处理一个比较耗时的任务时,只完成一部分就死掉了会发生什么事情?按照我们目前的代码来看,RabbitMQ分发消息给消费者后就立刻从内存中移除该消息。这种情境中,如果你杀死这个消息者,被消费者正处理的消息就会被丢失。由此可见,这样分发的所有消息还没有被消费者处理就全部丢失了。

但是我们并不像丢失任何的任务,如果一个工作者死了,我们想把这个任务转发给其他的工作者。

为了确保这个消息没有被丢失,RabbitMQ支持消息应答机制。消息应答机制是当消费者接受到消息后可以返回一条信息告诉RabbitMQ这条消息已经被接受并处理了,然后RabbitMQ就可以删除该消息。

如果一个消费者死了(通道关闭,连接关闭,或者TCP连接失败),没有发送一个应答反馈,RabbitMQ将会理解为这个消息还没有被处理,那么消息还将存在消息队列中。如果同时还有其它的消费者存活着,这个消息将会被重新发送给其它的消费者。这种方式就可以确保没有消息丢失,即使消费者意外死了。

没有处理消息超时的情况,除非这个消费者死了RabbitMQ才会重新分发消息。如果处理一个消息要花费很长很长的时间,RabbitMQ也会等待。

消息应答机制默认是开启的,但是在上一篇指导教程中是通过设置autoAck=true标识将他们关闭的。现在将这个标识设置为false,并且工作者在完成任务后,发送一条合适的应答反馈。

channel.basicQos(1); // accept only one unack-ed message at a time (see below)

final Consumer consumer = new DefaultConsumer(channel) {

    @Override

    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {

    String message = new String(body, "UTF-8");

    System.out.println(" [x] Received '" + message + "'");

        try {

            doWork(message);

        } finally {

            System.out.println(" [x] Done");

           channel.basicAck(envelope.getDeliveryTag(), false);

        }

    }

};

boolean autoAck = false;

channel.basicConsume(TASK_QUEUE_NAME, autoAck, consumer);

我们相信:使用这种方法,即使通过CTRL+C杀死一个正在处理消息的工作者,也没有消息会丢失。在这个工作者死了之后,没有应答反馈的消息将会被重新分发。

忘记了消息应答反馈

这是一个常见的错误:没有调用basicAck方法。也是很容易犯的错误,但是结果很严重。当消费者放弃时,消息将会被重新分发(看起来会很少分发)。但是RabbitMQ将会消耗大量的内存,因为它不能够释放任何未应答反馈的消息。

为了调试这类型的错误,可以使用rabbitmqctl去打印messages_unacknowledged字段:

sudo rabbitmqctl list_queues name messages_ready messages_unacknowledged

在window上,不需要sudo:

rabbitmqctl.bat list_queues name messages_ready messages_unacknowledged

消息的持久性(Message durability)

我们已经知道如何确保在消费者死了的情况下,这个任务还不会丢失。但是在RabbitMQ服务端停止的时候,这个任务还是会丢失。

当RabbitMQ服务端停止或者崩溃的时候,它的所有队列和消息都会丢失,除非你告诉它两件事才能确保消息不会被丢失:标记队列和消息持久化。

第一步,我们确保RabbitMQ不会丢失队列,为了达到这个目的,需要将它声明持久化:

boolean durable = true;

channel.queueDeclare("hello", durable, false, false, null);

尽管这行代码本身是正确的,但是对于已经存在的队列再次创建是不会有效的,因为我们已经定义了一个不是持久化队列的名字叫Hello。RabbitMQ不会容许你重新定义一个带有不同参数的已经存在的队列,任何应用这么做的话,它将会返回一个错误。但是这里有变通方案:声明一个不一样的队列名字。例如:task_queue:

boolean durable = true;

channel.queueDeclare("task_queue", durable, false, false, null);

这个变化的方法需要同时应用在生产者和消费者的代码中。

现在我们可以确定,即使RabbitMQ重新启动,task_queue队列都不会丢失。接着我们需要标记消息持久化,通过设置MessageProperties(它实现了BasicProperties接口)的值为PERSITENT_TEXT_PLAIN.

import com.rabbitmq.client.MessageProperties;

channel.basicPublish("", "task_queue",

MessageProperties.PERSISTENT_TEXT_PLAIN,

message.getBytes());

注意:消息持久化

标记消息持久化并不能完全保证消息一定不会丢失。虽然已经告诉RabbitMQ需要持久化消息到硬盘上,但还有一小段时间,当RabbitMQ已经接受到消息但还没有保存的时候,或者RabbitMQ没有为每个消息异步操作时,就有可能值保存在缓存中而没有写入到磁盘上。这个持久化的保证并不强大,但是已经足够我们简单任务队列的使用。如果你需要更强大的保证,你可以使用发布确认机制

高效分发(Fair dispatch)

你可能已经注意到这样的分发方式仍不是我们想的那样。举例来说,一个场景中有两个工作者,当有些消息是复杂的,有些消息是简单的,一个工作者可能会一直很忙,而另外一个工作者几乎不用做什么工作。RabbitMQ并不知道它们的工作情况,并且仍会循环的分发消息。

当消息进入队列中,RabbitMQ仅仅只是分发消息,它并不会查看消费者的反馈信息,只是盲目的分发第N个消息给第N个人。


prefetch-count.png

为了解决这个问题,我们可以使用basicQos方法,设置prefetchCount属性值为1。这个表明在一个时间点RabbitMQ不要分发更多的消息给工作者,或者换句话说,直到上个消息被处理并且得到应答反馈,才能分发一条新的消息给这个工作者。或者RabbitMQ会分发给一个工作不忙的工作者这个新消息。

int prefetchCount = 1;

channel.basicQos(prefetchCount);

注意队列的大小

如果所有的工作者都很忙,队列可能溢出。你需要注意这方面问题,如果存在这个问题可以添加更多的工作者,或者使用其他的一些策略方式。

综合

最终NewTask.java类的代码,这里下载

import java.io.IOException;

import com.rabbitmq.client.ConnectionFactory;

import com.rabbitmq.client.Connection;

import com.rabbitmq.client.Channel;

import com.rabbitmq.client.MessageProperties;

public class NewTask {

    private static final String TASK_QUEUE_NAME = "task_queue";

    public static void main(String[] argv)  throws java.io.IOException {

    ConnectionFactory factory = new ConnectionFactory();

    factory.setHost("localhost");

    Connection connection = factory.newConnection();

    Channel channel = connection.createChannel();

    channel.queueDeclare(TASK_QUEUE_NAME, true, false, false, null);

    String message = getMessage(argv);

    channel.basicPublish( "", TASK_QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN,  message.getBytes());

    System.out.println(" [x] Sent '" + message + "'");

    channel.close();

    connection.close();

    }

   //...

}

以及Work.java代码,这里下载

import com.rabbitmq.client.*;

import java.io.IOException;

public class Worker {

    private static final String TASK_QUEUE_NAME = "task_queue";

    public static void main(String[] argv) throws Exception {

    ConnectionFactory factory = new ConnectionFactory();

    factory.setHost("localhost");

     final Connection connection = factory.newConnection();

     final Channel channel = connection.createChannel();

     channel.queueDeclare(TASK_QUEUE_NAME, true, false, false, null);

     System.out.println(" [*] Waiting for messages. To exit press CTRL+C");

     channel.basicQos(1);

    final Consumer consumer = new DefaultConsumer(channel) {

    @Override

    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {

    String message = new String(body, "UTF-8");

    System.out.println(" [x] Received '" + message + "'");

   try {

        doWork(message);

   } finally {

        System.out.println(" [x] Done");

        channel.basicAck(envelope.getDeliveryTag(), false);

    }

    }

};

    boolean autoAck = false;

    channel.basicConsume(TASK_QUEUE_NAME, autoAck, consumer);

}

    private static void doWork(String task) {

        for (char ch : task.toCharArray()) {

            if (ch == '.') {

                try {

                   Thread.sleep(1000);

                } catch (InterruptedException _ignored) {

                    Thread.currentThread().interrupt();

}}}}}

在创建工作队列时,使用消息应答机制和basicBos的参数值设置;即使RabbitMQ服务端重启,通过设置持久化的一些选项就可以保存任务。
想了解更多相关Channel的信息和MessageProperties属性,可以点击这里查看

第二节的内容大致翻译完了,这里是原文链接。接着进入下一节:Publish/Subscribe

终篇是我对RabbitMQ使用理解的总结文章,欢迎讨教。
--谢谢--

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容

  • 来源 RabbitMQ是用Erlang实现的一个高并发高可靠AMQP消息队列服务器。支持消息的持久化、事务、拥塞控...
    jiangmo阅读 10,341评论 2 34
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,579评论 18 139
  • RabbitMQ详解 本文地址:http://www.host900.com/index.php/articles...
    嘉加家佳七阅读 2,499评论 0 9
  • 1.引言 RabbitMQ——Rabbit Message Queue的简写,但不能仅仅理解其为消息队列,消息代理...
    圣杰阅读 2,078评论 3 39
  • 工作队列 在上一个教程中,我们写了一个从一个已经命好名的队列中收发消息的程序。在这个教程中,我们将创建一个工作队列...
    番薯IT阅读 943评论 0 5