ASP.NET Core中使用漏桶算法限流

漏桶算法是限流的四大主流算法之一,其应用场景各种资料中介绍的不多,一般都是说应用在网络流量控制中。这里举两个例子:

1、目前家庭上网都会限制一个固定的带宽,比如100M、200M等,一栋楼有很多的用户,那么运营商怎么保证某些用户没有使用过多的带宽,从而影响到别人呢?这时就可以使用漏桶算法,限制每个用户访问网络的最大带宽,当然实际会比这复杂很多。

2、有一个祖传接口,当时写的时候没有任何保护措施,现在访问量稍微大点就会崩溃,但是代码谁也改不动。这时候也可以用漏桶算法,把这个接口封装一下,将外部请求通过漏桶算法进行整流,再转发给这个接口,此时访问频率不会超过阈值,接口就不会崩溃了。

算法原理

说了这么多,那漏桶算法到底是怎么解决问题的呢?请看下图。

WX20211211-073745@2x

接收到请求后,先把请求放到一个漏桶中,漏桶以恒定的速率漏出请求,然后漏出的请求被处理;如果接收请求的速度过快,导致漏桶满了,则丢弃新的请求。

可以看出,漏桶算法主要是通过恒速的方式输出,给后续数据处理一个稳定的输入。这样它就能应对一定的突发流量,使系统不会因为请求量突增而导致崩溃,只不过是通过增加延迟的方式,会有那么一点浪费资源,这和令牌桶的处理方式不同,关于令牌桶算法可以看这篇文章:ASP.NET Core中使用令牌桶限流

还有一个不常提及的好处,恒速的输出有时候也可以提升效率,比如一次允许漏出两个请求,则可以将两次处理合并为一次处理,如果每次处理都涉及到网络IO,则合并处理就有机会减少网络IO的开销。

算法实现

这里讲两种实现方法:进程内即内存漏桶算法、基于Redis的漏桶算法。

进程内即内存漏桶算法

这里在请求时计算漏出数量,没有单独的漏出处理,描述的算法稍显复杂,不过只需要增加一点耐心,也很容易理解。

先来定义几个变量:

  • 对于漏出速率,用 [每X时间周期Y个] 来表示。X时间周期一般是若干秒、分钟、小时等时间跨度。

  • 对于当前时间周期的开始时间用Ts表示,当前时间周期的结束时间用Te表示,当前时间用Ti表示。

  • 对于漏桶容量,用Z来表示。

  • 对于X时间内的所有请求数量,用N来表示。

当请求到达时,则可以按以下次序处理:

  • 如果Ti-Ts<=X,说明还在当前时间周期内,先增加N的值:

    • 比较N和Y,如果N<=Y,则请求无需等待,直接漏出,进入处理阶段;
    • 如果N>Y,则比较N与Y+Z:
      • 如果N<=Y+Z,则请求进入漏桶等待,等待时间为:(math.ceiling((N-Y)/Y)-1)*X+(Te - Ti),等待结束后漏出,进入处理阶段;
      • 如果N>Y+Z,则请求无法进入漏桶,只能丢弃掉,实现上就是拒绝请求;
  • 如果Ti-Ts>X,则需要创建新的时间周期:

    • 计算过去了几个时间周期:Pn=math.ceiling((Ti-Te)/X);
    • 重设Ts和Te的值:Ts=上次的Ts+Pn*X,Te=Ts+X;
    • 计算这段时间最大可以漏出的数量:Yo=Pn*Y;
    • 计算N的值:N= N-Yo<=0 ? 0: N-Yo;
    • 此时符合Ti-Ts<=X,又在当前时间周期内了,再回到上边的步骤依次处理。

基于Redis的漏桶算法

基于Redis也可以实现上述的算法,只不过变量的表示方式换成了Redis KV,算法逻辑还是一样的。

这些操作逻辑可以封装在一个Lua script中,因为Lua script在Redis中执行时也是原子操作,所以Redis的限流计数在分布式部署时天然就是准确的。

应用算法

这里以限流组件 FireflySoft.RateLimit 为例,实现ASP.NET Core中的漏桶算法限流。

1、安装Nuget包

有多种安装方式,选择自己喜欢的就行了。

包管理器命令:

Install-Package FireflySoft.RateLimit.AspNetCore

或者.NET命令:

dotnet add package FireflySoft.RateLimit.AspNetCore

或者项目文件直接添加:

<ItemGroup>
<PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" />
</ItemGroup>

2、使用中间件

在Startup中使用中间件,演示代码如下(下边会有详细说明):

public void ConfigureServices(IServiceCollection services)
        {
           ...
           app.AddRateLimit(new InProcessLeakyBucketAlgorithm(
                new[] {
                        // 三个参数:漏桶的容量、单位时间漏出的数量、漏出的单位时间
                    new LeakyBucketRule(20,10, TimeSpan.FromSeconds(1))
                    {
                        ExtractTarget = context =>
                        {
                                // 提取限流目标
                            return (context as HttpContext).Request.Path.Value;
                        },
                        CheckRuleMatching = context =>
                        {
                                // 判断当前请求是否需要限流处理
                            return true;
                        },
                        Name="leaky bucket limit rule",
                    }
                })
            );
            ...
        }

public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
        {
            ...
            app.UseRateLimit();
            ...
        }

如上需要先注册服务,然后使用中间件。

注册服务的时候需要提供限流算法和对应的规则:

  • 这里使用进程内漏桶算法InProcessLeakyBucketAlgorithm,还可以使用RedisLeakyBucketAlgorithm,需要传入一个Redis连接。两种算法都支持同步和异步方法。
  • 漏桶的容量是20,单位时间漏出的数量10,漏出的单位时间是1秒。也就是说1秒漏出10个,1秒内超出10个请求就会被延迟处理,加上漏桶的容量,1秒内超出30个请求就会被限流。
  • ExtractTarget用于提取限流目标,这里是每个不同的请求Path,可以根据需求从当前请求中提取关键数据,然后设定各种限流目标。如果有IO请求,这里还支持对应的异步方法ExtractTargetAsync。
  • CheckRuleMatching用于验证当前请求是否限流,传入的对象也是当前请求,方便提取关键数据进行验证。如果有IO请求,这里还支持对应的异步方法CheckRuleMatchingAsync。
  • 默认被限流时会返回HttpStatusCode 429,可以在AddRateLimit时使用可选参数error自定义这个值,以及Http Header和Body中的内容。

基本的使用就是上边例子中的这些了。

如果还是基于传统的.NET Framework,则需要在Application_Start中注册一个消息处理器RateLimitHandler,算法和规则部分都是共用的,具体可以看Github上的使用说明:https://github.com/bosima/FireflySoft.RateLimit#aspnet


FireflySoft.RateLimit 是一个基于 .NET Standard 的限流类库,其内核简单轻巧,能够灵活应对各种需求的限流场景。

其主要特点包括:

  • 多种限流算法:内置固定窗口、滑动窗口、漏桶、令牌桶四种算法,还可自定义扩展。
  • 多种计数存储:目前支持内存、Redis两种存储方式。
  • 分布式友好:通过Redis存储支持分布式程序统一计数。
  • 限流目标灵活:可以从请求中提取各种数据用于设置限流目标。
  • 支持限流惩罚:可以在客户端触发限流后锁定一段时间不允许其访问。
  • 动态更改规则:支持程序运行时动态更改限流规则。
  • 自定义错误:可以自定义触发限流后的错误码和错误消息。
  • 普适性:原则上可以满足任何需要限流的场景。

Github开源地址:https://github.com/bosima/FireflySoft.RateLimit

收获更多架构知识,请关注公众号 萤火架构。原创内容,转载请注明出处。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容