组件分享之后端组件——基于Golang实现的漏桶式速率限制算法(并发限定模块)ratelimit

背景

近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。

组件基本信息

• 组件：ratelimit
• 开源协议：MIT license

内容

本节我们分享一个基于Golang实现的漏桶式速率限制算法ratelimit(并发限定模块)。该实现根据请求之间的时间间隔来填充bucket，而不是需要间隔时钟来离散地填充bucket。创建具有每秒执行的最大操作数的速率限制器。每次操作前调用Take()。Take会一直睡到你能继续。

当然我们也可以使用golang官方的库golang.org/x/time/rate来进行实现自己的并发限定算法包，本节中我们分享的这个速率限制器本身引入的开销最小，如果我们需要一些更加复杂的最好使用官方库。

以下是其网友们的对比结果

func TestQPS(t *testing.T) {
    testLimiterQPS(t, 1000000)
    testLimiterQPS(t, 2000000)
    testLimiterQPS(t, 3000000)
}
func testLimiterQPS(t *testing.T, rate int) {
    limiter := ratelimit.New(rate)
    timer := time.After(time.Millisecond * 2000)
    i := 0
    for {
        select {
        case <-timer:
            expEvents := 2*rate
            if i > expEvents {
                t.Errorf("Received number of events is bigger than expected. Got: %d; Expected: %d", i, expEvents)
            }

            expEventsPercent := (float64(i) / float64(expEvents)) * 100
            if expEventsPercent < 90 {
                t.Errorf("Received number of events is lesser than expected. Got: %d (%.2f%%); Expected: %d", i, expEventsPercent, expEvents)
            }
            return
        default:
            limiter.Take()
            i++

        }
    }
}

--- FAIL: TestQPS (6.00s)
        ratelimit_test.go:36: Received number of events is lesser than expected. Got: 1563616 (78.18%); Expected: 2000000
        ratelimit_test.go:36: Received number of events is lesser than expected. Got: 2601158 (65.03%); Expected: 4000000
        ratelimit_test.go:36: Received number of events is lesser than expected. Got: 3215368 (53.59%); Expected: 6000000
FAIL
FAIL    github.com/uber-go/ratelimit    6.003s

更多对比可以参考这里

使用方式如下：

1、安装

go get github.com/uber-go/ratelimit

2、使用案例

import (
    "fmt"
    "time"
    "go.uber.org/ratelimit"
)
func main() {
    rl := ratelimit.New(100) // per second
    prev := time.Now()
    for i := 0; i < 10; i++ {
        now := rl.Take()
        fmt.Println(i, now.Sub(prev))
        prev = now
    }
}

本文声明：

88x31.png