Redis FIFO任务队列实现

在实际的业务领域中,常常会异步处理一些任务,这些任务的执行时间可能会比我们的预期更长一点,这些任务有点需要及时处理,有的可能需要延时执行。通常的做法是将这些任务放入某一种队列里面,把工作交给对应的任务处理器去处理。这个队列就是任务队列,如先进先出 (FIFO) 队列、后进先出 (LIFO) 队列,优先级 (Priority) 队列以及延时(Delay)队列.

先进先出 (FIFO) 队列

FIFO 队列具有语义清晰,严格维持任务发送和接收的顺序处理,易于实现等特点。Redis 的列表是简单的字符串列表,按照插入顺序排序。允许用户通过 LPUSH 和 RPUSH 以及 RPOP 和 LPOP 在列表的两端推入和插入元素,此外还提供了 BRPOP 和BLPOP 连个阻塞命令,非常适合用于 FIFO 队列。

定义任务实体

创建 taskModel.js 文件,该文件定义了任务实体。一个任务通常要包含,任务必要的标识、任务的类型、任务的行为等等。

/**
 * 任务实体 
 * New node file
 */

function Task(){
    var id
    var type;
    var action;
    
    this.setId = function(theyId){
        id = theyId;
    };
    
    this.setType = function(theyType){
        type = theyType;
    };
    
    this.setAction = function(theyAction){
        action = theyAction;
    };
    
    this.getTaskInfo = function(){
        return  '我的任务 ID 是:  '+ this.id +", 任务类型 : "+ this.type+", 我的需要完成任务行为是:"+this.action;
    };
}

module.exports = Task;
创建生产者和消费者

创建 main.js 负责模拟生产者和消费者,为了方便演示,这里分别使用 addTaskToQueue () 模拟生产者,getTaskFromQueue 模拟消费者。

/**
 * New node file
 */
var Task = require('./taskModel');
const schedule = require('node-schedule');

const app = require('express')();
const PORT = 6379,
      HOST = '127.0.0.1',
      OPTS = {}; // 配置项,比如说设置密码 {auth_pass:'123456'},  

//生产者客户端
const producterClient = require('redis').createClient(PORT, HOST, OPTS);

//消费者客户端
const consumerClient = producterClient.duplicate();

const QUEUE_NAME = 'queue:issue'; 


//添加任务到队列
function addTaskToQueue(){
    
    // 使用 redis 的 incr 生成 id 
    producterClient.incr('id', function(err, id) {
        if(err){
            console.log(err);
        }else{
            var task = new Task();
            task.setId('Task:::'+id);
            task.setType('MESSAGE')
            task.setAction('打印任务创建的时间>>>创建时间:::'+ new Date());
            producterClient.rpush([QUEUE_NAME, task.getTaskInfo()],function(err,reply) {
                if(err){
                    console.log(err);
                }else{
                    console.log('添加任务:'+task.getTaskInfo());
                }   
            });
        }
        
    });
    
    
}

//从任务队列中获取任务
function getTaskFromQueue(){
    //使用 blpop 阻塞模式,直到有数据返回。blpop 命令每次只会从列表中
    //弹出一个任务,所以这保证了任务不会被重复执行。
    producterClient.blpop(QUEUE_NAME, 4,function(err,reply) {
        if(err){
            console.log(err);
        }else{
            if(reply){
                console.log('>>>>>>>>消费任务: '+ reply[1]);
            }
        }   
    });
}

// 生产者定时任务
let producterJob = schedule.scheduleJob('*/4 * * * * *', () => {
    addTaskToQueue();
});

// 消费者定时任务
let consumerJob = schedule.scheduleJob('*/2 * * * * *', () => {
    getTaskFromQueue();
});
运行结果:
image.png

总结

这里使用 List 的特性简单的模拟了实现了 FIFO 队列。实际应用中任务的定义远远没有这么简单,除了将任务信息推送到队列外,还需要持久化任务信息。其次,还需要考虑到客户端将取得任务后未及时处理宕机导致任务处理失败。再者,客户端获取任务的指令执行成功但是客户连接超时断开连接导致任务丢失等情况。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,596评论 18 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,442评论 25 707
  • Java-Review-Note——4.多线程 标签: JavaStudy PS:本来是分开三篇的,后来想想还是整...
    coder_pig阅读 1,629评论 2 17
  • 今天是打卡跑步第一百天,感谢一路上陪着我坚持到今天的小伙伴们,杭州的鲁华菁、鲁晨波、张辉、周晴,广西的谭宇宁,深圳...
    独行侠者阅读 503评论 2 5
  • 那一天我二十一岁,在我一生的黄金时代。我有好多奢望。我想爱,想吃,还想在一瞬间变成天上半明半暗的云。后来我才知道,...
    悬崖边的稻草人阅读 514评论 0 0