您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

接口限流还不太明白? 这篇文章可以看懂!

时间:2020-03-10 10:52:14  来源:  作者:

导读

  • 前几天和一个朋友讨论了他们公司的系统问题,传统的单体应用,集群部署,他说近期服务的并发量可能会出现瞬时增加的风险,虽然部署了集群,但是通过压测后发现请求延迟仍然是很大,想问问我有什么改进的地方。我沉思了一会,现在去改架构显然是不可能的,于是我给出了一个建议,让他去做个接口限流,这样能够保证瞬时并发量飙高也不会出现请求延迟的问题,用户的体验度也会上去。
  • 至于什么是接口限流?怎么实现接口限流?如何实现单机应用的限流?如何实现分布式应用的限流?本篇文章将会详细阐述。

限流的常见几种算法

  • 常见的限流算法有很多,但是最常用的算法无非以下四种。

固定窗口计数器

接口限流还不太明白? 这篇文章可以看懂!

 

  • 固定算法的概念如下
  1. 将时间划分为多个窗口
  2. 在每个窗口内每有一次请求就将计数器加一
  3. 如果计数器超过了限制数量,则本窗口内所有的请求都被丢弃当时间到达下一个窗口时,计数器重置。
  • 固定窗口计数器是最为简单的算法,但这个算法有时会让通过请求量允许为限制的两倍。考虑如下情况:限制 1 秒内最多通过 5 个请求,在第一个窗口的最后半秒内通过了 5 个请求,第二个窗口的前半秒内又通过了 5 个请求。这样看来就是在 1 秒内通过了 10 个请求。
接口限流还不太明白? 这篇文章可以看懂!

 

滑动窗口计数器

接口限流还不太明白? 这篇文章可以看懂!

 

  • 滑动窗口计数器算法概念如下:
  1. 将时间划分为多个区间;
  2. 在每个区间内每有一次请求就将计数器加一维持一个时间窗口,占据多个区间;
  3. 每经过一个区间的时间,则抛弃最老的一个区间,并纳入最新的一个区间;
  4. 如果当前窗口内区间的请求计数总和超过了限制数量,则本窗口内所有的请求都被丢弃。
  • 滑动窗口计数器是通过将窗口再细分,并且按照时间 " 滑动 ",这种算法避免了固定窗口计数器带来的双倍突发请求,但时间区间的精度越高,算法所需的空间容量就越大。

漏桶算法

接口限流还不太明白? 这篇文章可以看懂!

 

  • 漏桶算法概念如下:
  1. 将每个请求视作 " 水滴 " 放入 " 漏桶 " 进行存储;
  2. “漏桶 " 以固定速率向外 " 漏 " 出请求来执行如果 " 漏桶 " 空了则停止 " 漏水”;
  3. 如果 " 漏桶 " 满了则多余的 " 水滴 " 会被直接丢弃。
  • 漏桶算法多使用队列实现,服务的请求会存到队列中,服务的提供方则按照固定的速率从队列中取出请求并执行,过多的请求则放在队列中排队或直接拒绝。
  • 漏桶算法的缺陷也很明显,当短时间内有大量的突发请求时,即便此时服务器没有任何负载,每个请求也都得在队列中等待一段时间才能被响应。

令牌桶算法

接口限流还不太明白? 这篇文章可以看懂!

 

  • 令牌桶算法概念如下:
  1. 令牌以固定速率生成。
  2. 生成的令牌放入令牌桶中存放,如果令牌桶满了则多余的令牌会直接丢弃,当请求到达时,会尝试从令牌桶中取令牌,取到了令牌的请求可以执行。
  3. 如果桶空了,那么尝试取令牌的请求会被直接丢弃。
  • 令牌桶算法既能够将所有的请求平均分布到时间区间内,又能接受服务器能够承受范围内的突发请求,因此是目前使用较为广泛的一种限流算法。

单体应用实现

  • 在传统的单体应用中限流只需要考虑到多线程即可,使用google开源工具类guava即可。其中有一个RateLimiter专门实现了单体应用的限流,使用的是令牌桶算法。
  • 单体应用的限流不是本文的重点,官网上现成的API,读者自己去看看即可,这里不再详细解释。

分布式限流

  • 分布式限流和熔断现在有很多的现成的工具,比如Hystrix,Sentinel 等,但是还是有些企业不引用外来类库,因此就需要自己实现。
  • redis作为单线程多路复用的特性,很显然能够胜任这项任务。

Redis如何实现

  • 使用令牌桶的算法实现,根据前面的介绍,我们了解到令牌桶算法的基础需要两个个变量,分别是桶容量,产生令牌的速率。
  • 这里我们实现的就是每秒产生的速率加上一个桶容量。但是如何实现呢?这里有几个问题。
  • 需要保存什么数据在redis中?当前桶的容量,最新的请求时间
  • 以什么数据结构存储?因为是针对接口限流,每个接口的业务逻辑不同,对并发的处理也是不同,因此要细化到每个接口的限流,此时我们选用HashMap的结构,hashKey是接口的唯一id,可以是请求的uri,里面的分别存储当前桶的容量和最新的请求时间。
  • 如何计算需要放令牌?根据redis保存的上次的请求时间和当前时间比较,如果相差大于的产生令牌的时间(陈某实现的是1秒)则再次产生令牌,此时的桶容量为当前令牌+产生的令牌
  • 如何保证redis的原子性?保证redis的原子性,使用lua脚本即可解决。
  • 有了上述的几个问题,便能很容易的实现。

开撸

1、lua脚本如下:

local ratelimit_info = redis.pcall('HMGET',KEYS[1],'last_time','current_token')
local last_time = ratelimit_info[1]
local current_token = tonumber(ratelimit_info[2])
local max_token = tonumber(ARGV[1])
local token_rate = tonumber(ARGV[2])
local current_time = tonumber(ARGV[3])
if current_token == nil then
  current_token = max_token
  last_time = current_time
else
  local past_time = current_time-last_time
  
  if past_time>1000 then
      current_token = current_token+token_rate
      last_time = current_time
  end

  ## 防止溢出
  if current_token>max_token then
    current_token = max_token
    last_time = current_time
  end
end

local result = 0
if(current_token>0) then
  result = 1
  current_token = current_token-1
  last_time = current_time
end
redis.call('HMSET',KEYS[1],'last_time',last_time,'current_token',current_token)
return result
  • 调用lua脚本出四个参数,分别是接口方法唯一id,桶容量,每秒产生令牌的数量,当前请求的时间戳。

2、 SpringBoot代码实现

  • 采用Spring-data-redis实现lua脚本的执行。
  • Redis序列化配置:
 /**
     * 重新注入模板
     */
    @Bean(value = "redisTemplate")
    @Primary
    public RedisTemplate redisTemplate(RedisConnectionFactory redisConnectionFactory){
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(redisConnectionFactory);
        ObjectMApper objectMapper = new ObjectMapper();
        objectMapper.setSerializationInclusion(JsonInclude.Include.NON_NULL);
        objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        //设置序列化方式,key设置string 方式,value设置成json
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
        Jackson2JsonRedisSerializer jsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        jsonRedisSerializer.setObjectMapper(objectMapper);
        template.setEnableDefaultSerializer(false);
        template.setKeySerializer(stringRedisSerializer);
        template.setHashKeySerializer(stringRedisSerializer);
        template.setValueSerializer(jsonRedisSerializer);
        template.setHashValueSerializer(jsonRedisSerializer);
        return template;
    }
  • 限流工具类
/**
 * @Description 限流工具类
 * @Author CJB
 * @Date 2020/3/19 17:21
 */
public class RedisLimiterUtils {

    private static StringRedisTemplate stringRedisTemplate=ApplicationContextUtils.applicationContext.getBean(StringRedisTemplate.class);

    /**
     * lua脚本,限流
     */
    private final static String TEXT="local ratelimit_info = redis.pcall('HMGET',KEYS[1],'last_time','current_token')n" +
            "local last_time = ratelimit_info[1]n" +
            "local current_token = tonumber(ratelimit_info[2])n" +
            "local max_token = tonumber(ARGV[1])n" +
            "local token_rate = tonumber(ARGV[2])n" +
            "local current_time = tonumber(ARGV[3])n" +
            "if current_token == nil thenn" +
            "  current_token = max_tokenn" +
            "  last_time = current_timen" +
            "elsen" +
            "  local past_time = current_time-last_timen" +
            "  n" +
            "  if past_time>1000 thenn" +
            "t  current_token = current_token+token_raten" +
            "t  last_time = current_timen" +
            "  endn" +
            "n" +
            "  if current_token>max_token thenn" +
            "    current_token = max_tokenn" +
            "tlast_time = current_timen" +
            "  endn" +
            "endn" +
            "n" +
            "local result = 0n" +
            "if(current_token>0) thenn" +
            "  result = 1n" +
            "  current_token = current_token-1n" +
            "  last_time = current_timen" +
            "endn" +
            "redis.call('HMSET',KEYS[1],'last_time',last_time,'current_token',current_token)n" +
            "return result";


    /**
     * 获取令牌
     * @param key 请求id
     * @param max 最大能同时承受多少的并发(桶容量)
     * @param rate  每秒生成多少的令牌
     * @return 获取令牌返回true,没有获取返回false
     */
    public static boolean tryAcquire(String key, int max,int rate) {
        List<String> keyList = new ArrayList<>(1);
        keyList.add(key);
        DefaultRedisScript<Long> script = new DefaultRedisScript<>();
        script.setResultType(Long.class);
        script.setScriptText(TEXT);
        return Long.valueOf(1).equals(stringRedisTemplate.execute(script,keyList,Integer.toString(max), Integer.toString(rate),
                Long.toString(System.currentTimeMillis())));
    }
}
  • 采用拦截器+注解的方式实现,注解如下:
/**
 * @Description 限流的注解,标注在类上或者方法上。在方法上的注解会覆盖类上的注解,同@Transactional
 * @Author CJB
 * @Date 2020/3/20 13:36
 */
@Inherited
@Target({ElementType.TYPE, ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
public @interface RateLimit {
    /**
     * 令牌桶的容量,默认100
     * @return
     */
    int capacity() default 100;

    /**
     * 每秒钟默认产生令牌数量,默认10个
     * @return
     */
    int rate() default 10;
}
  • 拦截器如下:
/**
 * @Description 限流的拦器
 * @Author CJB
 * @Date 2020/3/19 14:34
 */
@Component
public class RateLimiterIntercept implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        if (handler instanceof HandlerMethod){
            HandlerMethod handlerMethod=(HandlerMethod)handler;
            Method method = handlerMethod.getMethod();
            /**
             * 首先获取方法上的注解
             */
            RateLimit rateLimit = AnnotationUtils.findAnnotation(method, RateLimit.class);
            //方法上没有标注该注解,尝试获取类上的注解
            if (Objects.isNull(rateLimit)){
                //获取类上的注解
                rateLimit = AnnotationUtils.findAnnotation(handlerMethod.getBean().getClass(), RateLimit.class);
            }

            //没有标注注解,放行
            if (Objects.isNull(rateLimit))
                return true;

            //尝试获取令牌,如果没有令牌了
            if (!RedisLimiterUtils.tryAcquire(request.getRequestURI(),rateLimit.capacity(),rateLimit.rate())){
                //抛出请求超时的异常
                throw new  TimeOutException();
            }
        }
        return true;
    }
}
  • SpringBoot配置拦截器的代码就不贴了,以上就是完整的代码,至此分布式限流就完成了。
  • 如果觉得作者写的好,有所收获的话,点个关注推荐一下哟!!!


Tags:接口限流   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Sentinel是阿里巴巴开源的限流器熔断器,并且带有可视化操作界面。在日常开发中,限流功能时常被使用,用于对某些接口进行限流熔断,譬如限制单位时间内接口访问次数;或者按照某种规...【详细内容】
2021-04-30  Tags: 接口限流  点击:(251)  评论:(0)  加入收藏
前言在一个高并发系统中对流量的把控是非常重要的,当巨大的流量直接请求到我们的服务器上没多久就可能造成接口不可用,不处理的话甚至会造成整个应用不可用。那么何为限流呢?顾...【详细内容】
2020-12-15  Tags: 接口限流  点击:(121)  评论:(0)  加入收藏
一个基于Redis实现的接口限流方案,先说要实现的功能 可以限制指定的接口,在一定时间内,只能被请求N次,超过次数就返回异常信息 可以通过配置文件,或者管理后台,动态的修改限流配置...【详细内容】
2020-08-10  Tags: 接口限流  点击:(52)  评论:(0)  加入收藏
导读 前几天和一个朋友讨论了他们公司的系统问题,传统的单体应用,集群部署,他说近期服务的并发量可能会出现瞬时增加的风险,虽然部署了集群,但是通过压测后发现请求延迟仍然是很...【详细内容】
2020-03-10  Tags: 接口限流  点击:(57)  评论:(0)  加入收藏
▌简易百科推荐
本文分为三个等级自顶向下地分析了glibc中内存分配与回收的过程。本文不过度关注细节,因此只是分别从arena层次、bin层次、chunk层次进行图解,而不涉及有关指针的具体操作。前...【详细内容】
2021-12-28  linux技术栈    Tags:glibc   点击:(3)  评论:(0)  加入收藏
摘 要 (OF作品展示)OF之前介绍了用python实现数据可视化、数据分析及一些小项目,但基本都是后端的知识。想要做一个好看的可视化大屏,我们还要学一些前端的知识(vue),网上有很多比...【详细内容】
2021-12-27  项目与数据管理    Tags:Vue   点击:(2)  评论:(0)  加入收藏
程序是如何被执行的&emsp;&emsp;程序是如何被执行的?许多开发者可能也没法回答这个问题,大多数人更注重的是如何编写程序,却不会太注意编写好的程序是如何被运行,这并不是一个好...【详细内容】
2021-12-23  IT学习日记    Tags:程序   点击:(9)  评论:(0)  加入收藏
阅读收获✔️1. 了解单点登录实现原理✔️2. 掌握快速使用xxl-sso接入单点登录功能一、早期的多系统登录解决方案 单系统登录解决方案的核心是cookie,cookie携带会话id在浏览器...【详细内容】
2021-12-23  程序yuan    Tags:单点登录(   点击:(8)  评论:(0)  加入收藏
下载Eclipse RCP IDE如果你电脑上还没有安装Eclipse,那么请到这里下载对应版本的软件进行安装。具体的安装步骤就不在这赘述了。创建第一个标准Eclipse RCP应用(总共分为六步)1...【详细内容】
2021-12-22  阿福ChrisYuan    Tags:RCP应用   点击:(7)  评论:(0)  加入收藏
今天想简单聊一聊 Token 的 Value Capture,就是币的价值问题。首先说明啊,这个话题包含的内容非常之光,Token 的经济学设计也可以包含诸多问题,所以几乎不可能把这个问题说的清...【详细内容】
2021-12-21  唐少华TSH    Tags:Token   点击:(10)  评论:(0)  加入收藏
实现效果:假如有10条数据,分组展示,默认在当前页面展示4个,点击换一批,从第5个开始继续展示,到最后一组,再重新返回到第一组 data() { return { qList: [], //处理后...【详细内容】
2021-12-17  Mason程    Tags:VUE   点击:(14)  评论:(0)  加入收藏
什么是性能调优?(what) 为什么需要性能调优?(why) 什么时候需要性能调优?(when) 什么地方需要性能调优?(where) 什么时候来进行性能调优?(who) 怎么样进行性能调优?(How) 硬件配...【详细内容】
2021-12-16  软件测试小p    Tags:性能调优   点击:(20)  评论:(0)  加入收藏
Tasker 是一款适用于 Android 设备的高级自动化应用,它可以通过脚本让重复性的操作自动运行,提高效率。 不知道从哪里听说的抖音 app 会导致 OLED 屏幕烧屏。于是就现学现卖,自...【详细内容】
2021-12-15  ITBang    Tags:抖音防烧屏   点击:(25)  评论:(0)  加入收藏
11 月 23 日,Rust Moderation Team(审核团队)在 GitHub 上发布了辞职公告,即刻生效。根据公告,审核团队集体辞职是为了抗议 Rust 核心团队(Core team)在执行社区行为准则和标准上...【详细内容】
2021-12-15  InfoQ    Tags:Rust   点击:(25)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条