springboot + aop + Lua分布式限流的最佳实践

一、什么是限流?为什么要限流?

不知道大家有没有做过帝都的地铁,就是进地铁站都要排队的那种,为什么要这样摆长龙转圈圈?答案就是为了 限流 !因为一趟地铁的运力是有限的,一下挤进去太多人会造成站台的拥挤、列车的超载,存在一定的安全隐患。同理,我们的程序也是一样,它处理请求的能力也是有限的,一旦请求多到超出它的处理极限就会崩溃。为了不出现最坏的崩溃情况,只能耽误一下大家进站的时间。

限流是保证系统高可用的重要手段!!!

由于互联网公司的流量巨大,系统上线会做一个流量峰值的评估,尤其是像各种秒杀促销活动,为了保证系统不被巨大的流量压垮,会在系统流量到达一定阈值时,拒绝掉一部分流量。

限流会导致用户在短时间内(这个时间段是毫秒级的)系统不可用,一般我们衡量系统处理能力的指标是每秒的 QPS 或者 TPS ,假设系统每秒的流量阈值是1000,理论上一秒内有第1001个请求进来时,那么这个请求就会被限流。

二、限流方案

1、计数器

Java内部也可以通过原子类计数器 AtomicInteger 、 Semaphore 信号量来做简单的限流。

// 限流的个数privateintmaxCount =10;// 指定的时间内privatelonginterval =60;// 原子类计数器privateAtomicInteger atomicInteger =newAtomicInteger(0);// 起始时间privatelongstartTime = System.currentTimeMillis();publicbooleanlimit(intmaxCount,intinterval){        atomicInteger.addAndGet(1);if(atomicInteger.get() ==1) {            startTime = System.currentTimeMillis();            atomicInteger.addAndGet(1);returntrue;        }// 超过了间隔时间,直接重新开始计数if(System.currentTimeMillis() - startTime > interval *1000) {            startTime = System.currentTimeMillis();            atomicInteger.set(1);returntrue;        }// 还在间隔时间内,check有没有超过限流的个数if(atomicInteger.get() > maxCount) {returnfalse;        }returntrue;    }

2、漏桶算法

漏桶算法思路很简单,我们把水比作是 请求 ,漏桶比作是 系统处理能力极限 ,水先进入到漏桶里,漏桶里的水按一定速率流出,当流出的速率小于流入的速率时,由于漏桶容量有限,后续进入的水直接溢出(拒绝请求),以此实现限流。

3、令牌桶算法

令牌桶算法的原理也比较简单,我们可以理解成医院的挂号看病,只有拿到号以后才可以进行诊病。

系统会维护一个令牌( token )桶,以一个恒定的速度往桶里放入令牌( token ),这时如果有请求进来想要被处理,则需要先从桶里获取一个令牌( token ),当桶里没有令牌( token )可取时,则该请求将被拒绝服务。令牌桶算法通过控制桶的容量、发放令牌的速率,来达到对请求的限制。

4、Redis + Lua

很多同学不知道 Lua 是啥?个人理解, Lua 脚本和 MySQL 数据库的存储过程比较相似,他们执行一组命令,所有命令的执行要么全部成功或者失败,以此达到原子性。也可以把 Lua 脚本理解为,一段具有业务逻辑的代码块。

而 Lua 本身就是一种编程语言,虽然 redis 官方没有直接提供限流相应的 API ,但却支持了 Lua 脚本的功能,可以使用它实现复杂的令牌桶或漏桶算法,也是分布式系统中实现限流的主要方式之一。

相比 Redis 事务, Lua脚本 的优点:

减少网络开销: 使用 Lua 脚本,无需向 Redis 发送多次请求,执行一次即可,减少网络传输

原子操作: Redis 将整个 Lua 脚本作为一个命令执行,原子,无需担心并发

复用: Lua 脚本一旦执行,会永久保存 Redis 中,,其他客户端可复用

Lua 脚本大致逻辑如下:

-- 获取调用脚本时传入的第一个key值(用作限流的 key)localkey = KEYS[1]-- 获取调用脚本时传入的第一个参数值(限流大小)locallimit =tonumber(ARGV[1])-- 获取当前流量大小localcurentLimit =tonumber(redis.call('get', key)or"0")-- 是否超出限流ifcurentLimit +1> limitthen-- 返回(拒绝)return0else-- 没有超出 value + 1redis.call("INCRBY", key,1)-- 设置过期时间redis.call("EXPIRE", key,2)-- 返回(放行)return1end

通过 KEYS[1] 获取传入的key参数

通过 ARGV[1] 获取传入的 limit 参数

redis.call 方法,从缓存中 get 和 key 相关的值,如果为 null 那么就返回0

接着判断缓存中记录的数值是否会大于限制大小,如果超出表示该被限流,返回0

如果未超过,那么该key的缓存值+1,并设置过期时间为1秒钟以后,并返回缓存值+1

这种方式是本文推荐的方案,具体实现会在后边做细说。

5、网关层限流

限流常在网关这一层做,比如 Nginx 、 Openresty 、 kong 、 zuul 、 Spring Cloud Gateway 等,而像 spring cloud - gateway 网关限流底层实现原理,就是基于 Redis + Lua ,通过内置 Lua 限流脚本的方式。

三、Redis + Lua 限流实现

下面我们通过 自定义注解 、 aop 、 Redis + Lua 实现限流,步骤会比较详细,为了小白能让快速上手这里啰嗦一点,有经验的老鸟们多担待一下。

1、环境准备

springboot 项目创建地址: https://start.spring.io ,很方便实用的一个工具。

2、引入依赖包

pom文件中添加如下依赖包,比较关键的就是 spring-boot-starter-data-redis 和 spring-boot-starter-aop 。

org.springframework.bootspring-boot-starter-weborg.springframework.bootspring-boot-starter-data-redisorg.springframework.bootspring-boot-starter-aopcom.google.guavaguava21.0org.springframework.bootspring-boot-starter-testorg.apache.commonscommons-lang3org.springframework.bootspring-boot-starter-testtestorg.junit.vintagejunit-vintage-engine

3、配置application.properties

在 application.properties 文件中配置提前搭建好的 redis 服务地址和端口。

spring.redis.host=127.0.0.1spring.redis.port=6379

4、配置RedisTemplate实例

@ConfigurationpublicclassRedisLimiterHelper {    @BeanpublicRedisTemplate limitRedisTemplate(LettuceConnectionFactory redisConnectionFactory) {        RedisTemplatetemplate=newRedisTemplate<>();template.setKeySerializer(newStringRedisSerializer());template.setValueSerializer(newGenericJackson2JsonRedisSerializer());template.setConnectionFactory(redisConnectionFactory);returntemplate;    }}

限流类型枚举类

/** *@authorfu *@description限流类型 *@date2020/4/8 13:47 */publicenum LimitType {/**

    * 自定义key

    */CUSTOMER,/**

    * 请求者IP

    */IP;}

5、自定义注解

我们自定义个 @Limit 注解,注解类型为 ElementType.METHOD 即作用于方法上。

period 表示请求限制时间段, count 表示在 period 这个时间段内允许放行请求的次数。 limitType 代表限流的类型,可以根据 请求的IP 、 自定义key ,如果不传 limitType 属性则默认用方法名作为默认key。

/**

* @author fu

* @description 自定义限流注解

* @date 2020/4/8 13:15

*/@Target({ElementType.METHOD, ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Inherited@Documentedpublic@interfaceLimit {/**    * 名字    */Stringname()default"";/**    * key    */Stringkey()default"";/**    * Key的前缀    */Stringprefix()default"";/**    * 给定的时间范围 单位(秒)    */intperiod();/**    * 一定时间内最多访问次数    */intcount();/**    * 限流的类型(用户自定义key 或者 请求ip)    */LimitType limitType()defaultLimitType.CUSTOMER;}

6、切面代码实现

/**

* @author fu

* @description 限流切面实现

* @date 2020/4/8 13:04

*/@Aspect@ConfigurationpublicclassLimitInterceptor {privatestaticfinalLogger logger = LoggerFactory.getLogger(LimitInterceptor.class);privatestaticfinalString UNKNOWN ="unknown";privatefinalRedisTemplate limitRedisTemplate;    @AutowiredpublicLimitInterceptor(RedisTemplate limitRedisTemplate) {this.limitRedisTemplate = limitRedisTemplate;    }/**

    * @param pjp

    * @author fu

    * @description 切面

    * @date 2020/4/8 13:04

    */@Around("execution(public * *(..)) && @annotation(com.xiaofu.limit.api.Limit)")publicObject interceptor(ProceedingJoinPoint pjp) {        MethodSignature signature = (MethodSignature) pjp.getSignature();        Method method = signature.getMethod();        Limit limitAnnotation = method.getAnnotation(Limit.class);        LimitType limitType = limitAnnotation.limitType();        String name = limitAnnotation.name();        String key;intlimitPeriod = limitAnnotation.period();intlimitCount = limitAnnotation.count();/**

        * 根据限流类型获取不同的key ,如果不传我们会以方法名作为key

        */switch(limitType) {caseIP:                key = getIpAddress();break;caseCUSTOMER:                key = limitAnnotation.key();break;default:                key = StringUtils.upperCase(method.getName());        }        ImmutableList keys = ImmutableList.of(StringUtils.join(limitAnnotation.prefix(), key));try{            String luaScript = buildLuaScript();            RedisScript redisScript =newDefaultRedisScript<>(luaScript, Number.class);            Numbercount= limitRedisTemplate.execute(redisScript, keys, limitCount, limitPeriod);            logger.info("Access try count is {} for name={} and key = {}",count, name, key);if(count!=null&&count.intValue() <= limitCount) {returnpjp.proceed();            }else{thrownewRuntimeException("You have been dragged into the blacklist");            }        }catch(Throwable e) {if(einstanceofRuntimeException) {thrownewRuntimeException(e.getLocalizedMessage());            }thrownewRuntimeException("server exception");        }    }/**

    * @author fu

    * @description 编写 redis Lua 限流脚本

    * @date 2020/4/8 13:24

    */publicString buildLuaScript() {        StringBuilder lua =newStringBuilder();        lua.append("local c");        lua.append("\nc = redis.call('get',KEYS[1])");// 调用不超过最大值,则直接返回lua.append("\nif c and tonumber(c) > tonumber(ARGV[1]) then");        lua.append("\nreturn c;");        lua.append("\nend");// 执行计算器自加lua.append("\nc = redis.call('incr',KEYS[1])");        lua.append("\nif tonumber(c) == 1 then");// 从第一次调用开始限流,设置对应键值的过期lua.append("\nredis.call('expire',KEYS[1],ARGV[2])");        lua.append("\nend");        lua.append("\nreturn c;");returnlua.toString();    }/**

    * @author fu

    * @description 获取id地址

    * @date 2020/4/8 13:24

    */publicString getIpAddress() {        HttpServletRequest request = ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();        String ip = request.getHeader("x-forwarded-for");if(ip ==null|| ip.length() ==0|| UNKNOWN.equalsIgnoreCase(ip)) {            ip = request.getHeader("Proxy-Client-IP");        }if(ip ==null|| ip.length() ==0|| UNKNOWN.equalsIgnoreCase(ip)) {            ip = request.getHeader("WL-Proxy-Client-IP");        }if(ip ==null|| ip.length() ==0|| UNKNOWN.equalsIgnoreCase(ip)) {            ip = request.getRemoteAddr();        }returnip;    }}

7、控制层实现

我们将 @Limit 注解作用在需要进行限流的接口方法上,下边我们给方法设置 @Limit 注解,在 10秒 内只允许放行 3个 请求,这里为直观一点用 AtomicInteger 计数。

/** *@Author: fu *@Description: */@RestControllerpublicclassLimiterController{privatestaticfinalAtomicInteger ATOMIC_INTEGER_1 =newAtomicInteger();privatestaticfinalAtomicInteger ATOMIC_INTEGER_2 =newAtomicInteger();privatestaticfinalAtomicInteger ATOMIC_INTEGER_3 =newAtomicInteger();/**    *@authorfu    *@description*@date2020/4/8 13:42    */@Limit(key ="limitTest", period =10, count =3)@GetMapping("/limitTest1")publicinttestLimiter1(){returnATOMIC_INTEGER_1.incrementAndGet();    }/**    *@authorfu    *@description*@date2020/4/8 13:42    */@Limit(key ="customer_limit_test", period =10, count =3, limitType = LimitType.CUSTOMER)@GetMapping("/limitTest2")publicinttestLimiter2(){returnATOMIC_INTEGER_2.incrementAndGet();    }/**    *@authorfu    *@description*@date2020/4/8 13:42    */@Limit(key ="ip_limit_test", period =10, count =3, limitType = LimitType.IP)@GetMapping("/limitTest3")publicinttestLimiter3(){returnATOMIC_INTEGER_3.incrementAndGet();    }}

8、测试

测试 预期 :连续请求3次均可以成功,第4次请求被拒绝。接下来看一下是不是我们预期的效果,请求地址: http://127.0.0.1:8080/limitTest1 ,用 postman 进行测试,有没有 postman url直接贴浏览器也是一样。

可以看到第四次请求时,应用直接拒绝了请求,说明我们的 Springboot + aop + lua 限流方案搭建成功。

总结

以上 springboot + aop + Lua 限流实现是比较简单的,旨在让大家认识下什么是限流?如何做一个简单的限流功能,面试要知道这是个什么东西。上面虽然说了几种实现限流的方案,但选哪种还要结合具体的业务场景,不能为了用而用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容

  • 摘要:在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流。而有些场景并不能用缓存和降级来解决,因此需有一种...
    落羽成霜丶阅读 2,146评论 0 18
  • 聊聊高并发系统限流特技-1来自开涛的博客 在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流。缓存的目的是...
    meng_philip123阅读 6,605评论 1 20
  • 缓存 缓存比较好理解,在大型高并发系统中,如果没有缓存数据库将分分钟被爆,系统也会瞬间瘫痪。使用缓存不单单能够提升...
    阿斯蒂芬2阅读 12,095评论 1 28
  • 又是一年春节 每年初一,大家就会聚到一起,从老到幼,辈分高的坐中间,其他的一字排开 今年坐在中间的是奶奶和二奶奶,...
    一只小肉仔阅读 289评论 0 1
  • 祖国祖国我爱你, 七十诞辰更美丽。 迈步跨进新时代, 煌煌灿烂成果奇! 祖国祖国我爱你, 莽原山川巍峨势, 青藏铁...
    高汝凯阅读 446评论 0 6