RateLimiter令牌桶算法浅析

一、简介

百度百科中的定义:
令牌桶算法是网络流量(Traffic Shaping)整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。

大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的最大令牌数永远不会超过桶的大小。

传送到令牌桶的数据包需要消耗令牌。不同大小的数据包,消耗的令牌数量不一样。令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌,则允许发送流量;而如果令牌桶中不存在令牌,则不允许发送流量。因此,如果突发门限被合理地配置并且令牌桶中有足够的令牌,那么流量就可以以峰值速率发送。

二、限流算法:漏桶算法和令牌桶算法
  • 漏桶算法(Leaky Bucket):基本原理是水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大超出了桶的容量,会直接溢出而被丢弃(访问频率超过接口响应速率),就拒绝请求。
  • 令牌桶算法:它是一个存放固定容量令牌的桶,按照固定速率往桶里添加令牌。
    假设限制2r/s,则按照500毫秒的固定速率往桶中添加令牌;
    桶中最多存放b个令牌,当桶满时,新添加的令牌被丢弃或拒绝;
    当一个n个字节大小的数据包到达,将从桶中删除n个令牌,接着数据包被发送到网络上;
    如果桶中的令牌不足n个,则不会删除令牌,且该数据包将被限流(要么丢弃,要么缓冲区等待)。

令牌桶算法的基本过程:
假如用户配置的平均发送速率为r,则每隔1/r秒一个令牌被加入到桶中;桶最多可以存发b个令牌。如果令牌到达时令牌桶已满,则这个令牌会被丢弃;
当一个n个字节的数据包到达时,就从令牌桶中删除n个令牌,并且数据包被发送到网络;
如果令牌桶中少于n个令牌,则不会删除令牌,并且认为这个数据包在流量限制之外;
算法允许最长b个字节的突发,数据包的速率被限制成常量r。对于在流量限制外的数据包可以以不同的方式处理:
1)被丢弃;
2)放在队列中当令牌桶中累积了足够多的令牌时再传输;
3)继续发送,但需要做特殊标记,网络过载时将这些特殊标记的包丢弃。

令牌桶算法与漏桶算法(Leaky Bucket)的主要区别:
1)漏桶算法能够强行限制数据的传输速率,而令牌桶算法在能够限制数据的平均传输速率外,还允许某种程度的突发传输。
2)令牌桶算法中,只要令牌桶中存在令牌,就允许突发地传输数据直到达到用户配置的上限,它适合于具有突发特性的流量。

三、Guava-RateLimiter

RateLimiter是Guava中开源的一个令牌桶算法工具类,可以轻松实现限流工作。
RateLimiter有两个实现类:SmoothBursty和SmoothWarmingUp;
两者区别:
1)都是令牌桶算法的变种实现
2)SmoothBursty加令牌的速度是恒定的,SmoothWarmingUp会有个预热期,在预热期内加令牌的速度是慢慢增加的,直到达到固定速度为止。其适用场景是,对于有的系统而言刚启动时能承受的QPS较小,需要预热一段时间后才能达到最佳状态。

测试示例:

<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
  <version>19.0</version>
</dependency>

示例1:创建一个令牌桶,每秒生成一个令牌,申请失败立即返回。使用CountdownLatch计数器模拟多线程并发,调用await()方法阻塞当前线程,当计数完成后,唤醒所有线程并发执行。

//每秒生成一个令牌,返回SmoothBursty实现类
RateLimiter rateLimiter = RateLimiter.create(1D);
CountDownLatch countDownLatch = new CountDownLatch(1);
ExecutorService executor = Executors.newCachedThreadPool();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
for (int i = 0; i < 10; i++) {
  Runnable runnable = () -> {
    try {
      countDownLatch.await();
      //尝试获取令牌桶中一个令牌,失败立即返回
      if (rateLimiter.tryAcquire()) {
        System.out.println(Thread.currentThread().getName() + ": " + sdf.format(new Date()) + "获取到令牌");
      } else System.out.println(Thread.currentThread().getName());
    } catch (InterruptedException e) {e.printStackTrace();}
  };
  executor.submit(runnable);
}
countDownLatch.countDown();
executor.shutdown();
运行结果

示例2:创建一个令牌桶,每秒生成0.1个令牌,即每10s才会有一个令牌,超时时间设置成20s,20s内获取不到令牌返回失败,20s内可以生成2个令牌,加上创建时桶里会有一个令牌,超时前最终会有3条线程拿到令牌,并且每个令牌获取时间相隔10s。使用CountdownLatch计数器模拟多线程并发:调用await()方法阻塞当前线程,当计数完成后,唤醒所有线程并发执行。

//每秒生成0.1个令牌,返回SmoothBursty实现类
RateLimiter rateLimiter = RateLimiter.create(0.1D);
CountDownLatch countDownLatch = new CountDownLatch(1);
ExecutorService executor = Executors.newCachedThreadPool();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
for (int i = 0; i < 10; i++) {
  Runnable runnable = () -> {
    try {
      countDownLatch.await();
      //尝试获取令牌桶中一个令牌,最多等待20秒
      if (rateLimiter.tryAcquire(20, TimeUnit.SECONDS)) {
        System.out.println(Thread.currentThread().getName() + ": " + sdf.format(new Date()) + "获取到令牌");
      } else System.out.println(Thread.currentThread().getName());
    } catch (InterruptedException e) {e.printStackTrace();}
  };
  executor.submit(runnable);
}
countDownLatch.countDown();
executor.shutdown();
运行结果

参考文档:
https://baike.baidu.com/item/%E4%BB%A4%E7%89%8C%E6%A1%B6%E7%AE%97%E6%B3%95/6597000?fr=aladdin
https://blog.csdn.net/unclecoco/article/details/99583154

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容