您当前的位置:首页 > 电脑百科 > 程序开发 > 算法

一文了解高并发限流算法

时间:2020-09-27 10:42:52  来源:  作者:

作者:杨奇龙

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。


一、前言

作为热点频出的电商系统,经常遇到高并发,热点秒杀的场景。我们在开发设计高并发海量业务请求的系统时,通常利用三板斧:缓存、降级和限流来保障系统稳定性。

缓存:使业务数据更靠近数据的使用者,提升程序访问数据速度和增大系统QPS容量。

降级:当系统容量达到一定健康阈值时根据当前业务情况及流量对一些服务和页面有策略的降级,以此释放服务器资源以保证核心任务的正常运行。

限流:通过对并发访问/请求进行限速,或者对一个时间窗口内的请求进行限速来保护系统稳定可用,一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理。

本文聊聊限流的常用算法,并且通过案例测试验证令牌桶算法。

 

二、限流算法

目前程序开发过程常用的限流算法有两个:漏桶算法和令牌桶算法

漏桶算法

漏桶算法的原理比较简单,请求进入到漏桶中,漏桶以一定的速率漏水。当请求过多时,水直接溢出。可以看出,漏桶算法可以强制限制数据的传输速度。

如图所示,把请求比作是水滴,水先滴到桶里,通过漏洞并以限定的速度出水,当水来得过猛而出水不够快时就会导致水直接溢出,即拒绝服务。

技术分享 | 一文了解高并发限流算法

图片来自网络

漏桶的出水速度是恒定的,那么意味着如果瞬时大流量的话,将有大部分请求被丢弃掉(也就是所谓的溢出)。

令牌桶算法

令牌桶算法的原理是系统以一定速率向桶中放入令牌,如果有请求时,请求会从桶中取出令牌,如果能取到令牌,则可以继续完成请求,否则等待或者拒绝服务。这种算法可以应对突发程度的请求,因此比漏桶算法好。

技术分享 | 一文了解高并发限流算法

图片来自网络

漏桶算法和令牌桶算法的选择

两者的主要区别漏桶算法能够强行限制处理数据的速率,不论系统是否空闲。而令牌桶算法能够在限制数据的平均处理速率的同时还允许某种程度的突发流量。

如何理解上面的含义呢?

漏桶算法,比如系统吞吐量是 120/s,业务请求 130/s,使用漏斗限流 100/s,起到限流的作用,多余的请求将产生等待或者丢弃。

对于令牌桶算法,每秒产生 100 个令牌,系统容量 200 个令牌。正常情况下,业务请求 100/s 时,请求能被正常被处理。当有突发流量过来比如 200 个请求时,因为系统容量有 200 个令牌可以同一时刻处理掉这 200 个请求。如果是漏桶算法,则只能处理 100 个请求,其他的请求等待或者被丢弃。

 

三、代码实现

本案例使用 Python 基于令牌桶算法进行测试。

# encoding: utf-8"""author: yangyi@youzan.comtime: 2020/9/9 10:43 PMfunc: """import timeimport multiprocessing
TEST = {    # 测试 {'test1': 20} 每秒产生的令牌数量    'all': {        'test1': {'test1': 20},        'test2': {'test2': 50},        'test3': {'test3': 80},        'test4': {'test4': 100},#表示突发100个请求        'test5': {'test5': 200},#表示突发200个请求        'test6': {'test6': 20},    }}
class TokenBucket(object):    # rate是令牌发放速度,capacity是桶的大小    def __init__(self, rate, capacity):        self._rate = rate        self._capacity = capacity        self._current_amount = 0        self._last_consume_time = int(time.time())
    # token_amount是发送数据需要的令牌数    def consume(self, token_amount):        time.sleep(1)        # 计算从上次发送到这次发送,新发放的令牌数量        increment = (int(time.time()) - self._last_consume_time) * self._rate        # 令牌数量不能超过桶的容量        self._current_amount = min(            increment + self._current_amount, self._capacity)        # 如果没有足够的令牌,则不能发送数据        if token_amount > self._current_amount:            return False        self._last_consume_time = int(time.time())        self._current_amount -= token_amount        return True
def job():    i = 100    while i>1:        for result in result_dict.values():            key = tuple(result.keys())[0]            rate = tuple(result.values())[0]            i = i-1            if i <= 0:                break
            if not limiter.consume(rate):                print(key + ' 限流')            else:                print(key + ' 正常')
def run():    threads = [multiprocessing.Process(target=job) for i in range(3)]    for thread in threads:        thread.start()
if __name__ == '__main__':    result_dict = TEST["all"]    RATE = 30    CAPACITY = 120    limiter = TokenBucket(RATE, CAPACITY)    run()

这段测试代码比较简单,大家可以结合自己的业务场景在编写工具时看看哪里可以使用到限流算法。

 

四、参考文章

https://github.com/titan-web/rate-limit

https://www.jianshu.com/p/c6b20845561a

https://www.simpleApples.com/2018/03/20/implementation-of-the-token-bucket-algorithm-in-python/



Tags:限流算法   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
最近,我们的业务系统引入了Guava的RateLimiter限流组件,它是基于令牌桶算法实现的,而令牌桶是非常经典的限流算法。本文将跟大家一起学习几种经典的限流算法。 限流是什么?维...【详细内容】
2021-08-06  Tags: 限流算法  点击:(86)  评论:(0)  加入收藏
前言在一个高并发系统中对流量的把控是非常重要的,当巨大的流量直接请求到我们的服务器上没多久就可能造成接口不可用,不处理的话甚至会造成整个应用不可用。那么何为限流呢?顾...【详细内容】
2020-12-15  Tags: 限流算法  点击:(121)  评论:(0)  加入收藏
作为热点频出的电商系统,经常遇到高并发,热点秒杀的场景。我们在开发设计高并发海量业务请求的系统时,通常利用三板斧:缓存、降级和限流来保障系统稳定性。...【详细内容】
2020-09-27  Tags: 限流算法  点击:(68)  评论:(0)  加入收藏
限流又称为流量控制(流控),通常是指限制到达系统的并发请求数。我们生活中也会经常遇到限流的场景,比如:某景区限制每日进入景区的游客数量为 8 万人;沙河地铁站早高峰通过站外排队逐一放行的方式限制同一时间进入车站的旅...【详细内容】
2020-09-17  Tags: 限流算法  点击:(67)  评论:(0)  加入收藏
前言分布式环境下应对高并发保证服务稳定几招,按照个人理解,优先级从高到低分别为缓存、限流、降级、熔断,每招都有它的作用,本文重点就讲讲限流这部分。坦白讲,其实上面的说法也...【详细内容】
2020-02-10  Tags: 限流算法  点击:(59)  评论:(0)  加入收藏
为什么要做限流呢?举一个生活中的例子,大家早上上班都要挤地铁吧,地铁站在早高峰的时候经常要限制客流,为什么呢?有人会觉得这是人为添堵。真是这样吗?如果不执行客流控制,大家想想...【详细内容】
2019-08-20  Tags: 限流算法  点击:(236)  评论:(0)  加入收藏
限流每个API接口都是有访问上限的,当访问频率或者并发量超过其承受范围时候,我们就必须考虑限流来保证接口的可用性或者降级,即接口也需要安装上保险丝,以防止非预期的请求对系...【详细内容】
2019-07-09  Tags: 限流算法  点击:(475)  评论:(0)  加入收藏
▌简易百科推荐
前言Kafka 中有很多延时操作,比如对于耗时的网络请求(比如 Produce 是等待 ISR 副本复制成功)会被封装成 DelayOperation 进行延迟处理操作,防止阻塞 Kafka请求处理线程。Kafka...【详细内容】
2021-12-27  Java技术那些事    Tags:时间轮   点击:(1)  评论:(0)  加入收藏
博雯 发自 凹非寺量子位 报道 | 公众号 QbitAI在炼丹过程中,为了减少训练所需资源,MLer有时会将大型复杂的大模型“蒸馏”为较小的模型,同时还要保证与压缩前相当的结果。这就...【详细内容】
2021-12-24  量子位    Tags:蒸馏法   点击:(9)  评论:(0)  加入收藏
分稀疏重建和稠密重建两类:稀疏重建:使用RGB相机SLAMOrb-slam,Orb-slam2,orb-slam3:工程地址在: http://webdiis.unizar.es/~raulmur/orbslam/ DSO(Direct Sparse Odometry)因为...【详细内容】
2021-12-23  老师明明可以靠颜值    Tags:算法   点击:(7)  评论:(0)  加入收藏
1. 基本概念希尔排序又叫递减增量排序算法,它是在直接插入排序算法的基础上进行改进而来的,综合来说它的效率肯定是要高于直接插入排序算法的;希尔排序是一种不稳定的排序算法...【详细内容】
2021-12-22  青石野草    Tags:希尔排序   点击:(6)  评论:(0)  加入收藏
ROP是一种技巧,我们对execve函数进行拼凑来进行system /bin/sh。栈迁移的特征是溢出0x10个字符,在本次getshell中,还碰到了如何利用printf函数来进行canary的泄露。ROP+栈迁移...【详细内容】
2021-12-15  星云博创    Tags:栈迁移   点击:(19)  评论:(0)  加入收藏
一、什么是冒泡排序1.1、文字描述冒泡排序是一种简单的排序算法。它重复地走访要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地...【详细内容】
2021-12-15    晓掌柜丶韶华  Tags:排序算法   点击:(16)  评论:(0)  加入收藏
在了解golang的map之前,我们需要了解哈希这个概念。哈希表,又称散列表(Hash table),是根据键(key)而直接访问在内存储存位置的数据结构。也就是说,它通过计算出一个键值的函数,将...【详细内容】
2021-12-07  一棵梧桐木    Tags:哈希表   点击:(13)  评论:(0)  加入收藏
前面文章在谈论分布式唯一ID生成的时候,有提到雪花算法,这一次,我们详细点讲解,只讲它。SnowFlake算法据国家大气研究中心的查尔斯&middot;奈特称,一般的雪花大约由10^19个水分子...【详细内容】
2021-11-17  小心程序猿QAQ    Tags:雪花算法   点击:(24)  评论:(0)  加入收藏
导读:在大数据时代,对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要,因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时,需要根据数据的规模和类型进行判断。尽管不同策略最终得到的结果完...【详细内容】
2021-11-04  华章科技    Tags:排序算法   点击:(37)  评论:(0)  加入收藏
这是我在网上找的资源的一个总结,会先给出一个我看了觉得还行的关于算法的讲解,再配上实现的代码: Original author: Bill_Hoo Original Address: http://blog.sina.com.cn/s/bl...【详细内容】
2021-11-04  有AI野心的电工和码农    Tags: KMP算法   点击:(36)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条