对于MQ消费使用redis缓冲限流处理

一、好言

事实是这样,假如你不懂我,那错的永远是我,不必惊讶,连解释都是多余。

二、背景

由于消费MQ,会存在有就消费,可能会有并发的存在,在后台引起的问题,所以需要多MQ的消费做处理 ,然后我们将MQ消息消费后,丢进redsi,然后从开启线程,从redis中取数据进行消费,下面给出的是set和队列的两种方式。

三、内容

3.1 SET的处理方式
 @PostConstruct
public void dealTask() throws Exception {
        ScheduledExecutorService es = Executors.newScheduledThreadPool(100);
        es.scheduleAtFixedRate(new Runnable() {
            @Override
            public void run() {
                logger.info("================");
                Long flag = stringRedisTemplate.opsForValue().increment(RedisConstant.TASK_SWITCH_POWER,1);
                if(flag == 1 ){//这个标识用来控制集群,每次只有等于1的进入,取完数据或者没有数据都需要将该
值重新置为0
                    ZSetOperations<String, VO> zSetOperations = objectredisTemplate.opsForZSet();
                    Long count = zSetOperations.size(RedisConstant.NAME_TASK_KEY);
                    if(count > 0){
                        Set<VO> zsetRangeData = zSetOperations.range(RedisConstant.NAME_TASK_KEY,0L, 
count - 1);
                        zSetOperations.remove(RedisConstant.NAME_TASK_KEY, 
zsetRangeData.toArray());
                        stringRedisTemplate.opsForValue().set(RedisConstant.TASK_SWITCH_POWER, "0");
                        Iterator iterable = zsetRangeData.iterator();
                        while (iterable.hasNext()){
                            try {
                               //TODO处理业务
                            }catch (Exception e){
                                //出异常在把该信息添加进去set
                                zSetOperations.add(RedisConstant.NAME_TASK_KEY, 
ZSetUtil.converToSet(vo));
                            }
                        }
                    }else{
                        stringRedisTemplate.opsForValue().set(RedisConstant.TASK_SWITCH_POWER, "0");
                    }
                }
            }
        },0,1, TimeUnit.SECONDS);
    }

接收端接收消息然后丢入redis,当然你可以是指redis大小数量,超过上限则可以直接丢弃

               ZSetOperations<String, VO> zSet = redisTemplate.opsForZSet();
                if(zSet.size(RedisConstant.NAME_TASK_KEY) + 1  >= 
MAX_CHANNEL_MQ_TASK_SIZE){
                    logger.info("到达上限,丢弃消息 = "+messgage);
                    return;
                }
                zSet.add(RedisConstant.NAME_TASK_KEY, ZSetUtil.converToSet(messgage));

ZSetUtil.java

   public static Set<ZSetOperations.TypedTuple<VO>> converToSet(VO data){
        Set<ZSetOperations.TypedTuple<VO>> set = new HashSet<>(1);
        ZSetOperations.TypedTuple typedTuple;
        Long score = System.currentTimeMillis();
        typedTuple = new DefaultTypedTuple(data, score.doubleValue());
        set.add(typedTuple);
        return set;
    }
3.2、队列方式

队列方式先push然后pop出来,每次处理一条数据。


消息接收端

 ListOperations listOperations = redisTemplate.opsForList();
 redisTemplate.opsForList().leftPush(RedisConstant.NAME_TASK_KEY,msg);

开启定时任务从redis中取数据

    @PostConstruct
    public void dealNameTask(){
     ScheduledExecutorService es = Executors.newScheduledThreadPool(10);
        es.scheduleAtFixedRate(new Runnable() {
            @Override
            public void run() {
                ListOperations listOperations = objectredisTemplate.opsForList();
                VO vo = (VO)listOperations.rightPop(RedisConstant.NAME_TASK_KEY);
                try {
                    if(null != vo){
                        //Todo处理业务
                    }else{
                        Thread.sleep(1000);
                    }
                }catch (Exception e){
                    //出现异常在push进redis
                    listOperations.leftPush(RedisConstant.NAME_TASK_ZSET_KEY,vo);
                }
            }
        },0,1, TimeUnit.SECONDS);
    }

相对来说,push会简单多了,只是set可以排序,并且也可以按照顺序来取。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,494评论 18 139
  • 1.1 资料 ,最好的入门小册子,可以先于一切文档之前看,免费。 作者Antirez的博客,Antirez维护的R...
    JefferyLcm阅读 17,016评论 1 51
  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 5,409评论 0 34
  • 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O...
    高广超阅读 12,790评论 8 167
  • 今天的表现有点傻逼了。 1.发车不及时,没有按照一辆接一辆发车出去,导致有客滞留 2.算都算错,被人取笑,没有加上...
    一个人的独行阅读 136评论 0 0