node-ratelimiter

github地址:传送门

一、简介

这是一个nodejs版本的接口频率算法----令牌桶算法。在P时间段里,只能被调用N次。这段时间过后,又重新有了N次机会。(这个算法有点不是很完美,因为能在极短的时间内,发起2N次请求,可能会给服务器带来一定的压力)

二、源码分析

这里的分析,以函数为一个小的基本单元来进行。

var assert=require('assert');

这里引入的是nodejs的断言模块,当不符合预期的时候,会抛出异常。


function Limiter(opts) {

this.id=opts.id;      // 唯一标识,如用户id

this.db=opts.db;    // redis数据库实例

assert(this.id,'.id required');

assert(this.db,'.db required');

this.max=opts.max||2500;    // 默认可调用次数(N)

this.duration=opts.duration||3600000;    // 默认间隔时间(P,一小时)

this.prefix='limit:'+this.id+':';    // redis的key

}

上面是一个Limiter类,在初始化的时候传入一系列的配置。


Limiter.prototype.inspect=function() {

return'

+this.id+', duration='

+this.duration+', max='

+this.max+'>';

};

这个方法,方便效果的展示


// 判断第一个值是不是为空(这里指的是key: "limit:<id>:count"对应的值),如果不存在的话,表示redis没有这个记录,需要重新分配次数和时间给当前用户

function isFirstReplyNull(replies) {

        if (!replies) {

                return true;

          }

          return Array.isArray(replies[0]) ?

                   // ioredis

                   !replies[0][1] :

                    // node_redis

                      !replies[0];

}


// 这个是核心方法

Limiter.prototype.get = function (fn) {

var count = this.prefix + 'count';    // 剩余次数

var limit = this.prefix + 'limit';      // 最多次数

var reset = this.prefix + 'reset';    // 失效时间

var duration = this.duration;      // 间隔时间

var max = this.max;

var db = this.db;

function create() {

      // 为当前用户开辟一块新的内存,保存调用情况。总共有三个key值,分别为上面的count、limit、reset

}

function decr(res) {

    // 收到用户的请求,进行计算,如果允许访问,则减少一次机会,否则直接返回

}

function mget() {

    // 调用这个方法直接,redis中肯定会存有该用户相关情况,如果不存在的话,就调用create方法;存在的话,调用decr方法,在库存中减去一次。

}

mget();

};


下面分开来讲解上面提到的三个方法。

mget();

function mget() {

      db.watch([count],function(err) {

              if(err)returnfn(err);

              db.mget([count, limit, reset],function(err,res) {

                     if(err) return fn(err);

                     if(!res[0]&&res[0]!==0) return create();

                    decr(res);

             });

       });

}

上面用到一个 watch 命令。

WATCH命令可以监控一个或多个键,一旦其中有一个键被修改(或删除),之后的事务就不会执行。监控一直持续到EXEC命令(事务中的命令是在EXEC之后才执行的,所以在MULTI命令后可以修改WATCH监控的键值)

在create方法和decr方法里面,都会使用multi和exec命令。我们要确保两个方法不能同时修改count值,所以,我们需要加上这个指令。

如果没有分配内存,就调用create方法进行分配,否则就直接调用方法decr去库存。


create()

function create() {

      var ex = (Date.now() + duration) / 1000 | 0;   // 失效时间

      db.multi()

      .set([count, max, 'PX', duration, 'NX'])

       .set([limit, max, 'PX', duration, 'NX'])

       .set([reset, ex, 'PX', duration, 'NX'])

       .exec(function (err, res) {

             if (err) return fn(err);

           // If the request has failed, it means the values already

           // exist in which case we need to get the latest values.

           if (isFirstReplyNull(res)) return mget();

            fn(null, {

                total: max,

               remaining: max,

                reset: ex

          });

     });

}

上面这个方法也很好理解。首先计算失效时间ex,然后依次往这三个key赋值。如果恰好碰到内存不见了(这三个key没有了,至于为什么会没有,也许是redis不小心被清空了,反正就是突然没了),就调用mget方法(等于是重新跑一次这个流程)。否则,就返回分配好的内存,告诉调用者最大次数total,剩余次数remaining, 失效时间reset。


decr()

function decr(res) {

    var n=~~res[0];    // 剩余次数

    var max=~~res[1];    // 最大次数

    var ex=~~res[2];     // 失效时间

    var dateNow=Date.now();     // 当前时间

    if(n<=0) return done();     // 调用频率过快,直接拒绝(当然,还可以有别的不那么简单粗暴的方法)

    function done() {

        fn(null, {

            total:max,

            remaining:n<0?0:n,

            reset:ex

         });

    }

// 如果还有机会,则在redis中减去1次,顺便

    db.multi()

    .set([count, n-1,'PX', ex*1000-dateNow,'XX'])

    .pexpire([limit, ex*1000-dateNow])

    .pexpire([reset, ex*1000-dateNow])

    .exec(function(err,res) {

        if(err) return fn(err);

        if(isFirstReplyNull(res)) return mget();

        n=n-1;

        done();

    });

}

上面有个pexpire命令。官方解释:

这个命令和 EXPIRE 命令的作用类似,但是它以毫秒为单位设置 key 的生存时间,而不像 EXPIRE 命令那样,以秒为单位

其实我比较好奇,为什么会需要改变有效时间。因为最初的时候已经设置了过期时间了。不是很懂。剩下的流程,和之前的一样。这里就不必多说了。


三、总结

上面说了一大串,总的来说,我算是看得差不多懂了。现在来总结一下这个流程,还有看看这个项目有什么亮点值得学习。

流程:

1. mget() ----> create() ---> 返回数据

2. mget() ----> decr() -----> 返回数据

上面两个只是比较粗略的写法,实际上,在这个项目中,在decr方法里面,会考虑到数据是否还在,可能会再次调用mget方法。(抱歉,我不会画图)

亮点:

使用了watch和事务,代码虽短,但是也考虑了很多情况,例如miss内存。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容