您当前的位置:首页 > 电脑百科 > 数据库 > Redis

Redis 缓存穿透、击穿问题

时间:2023-01-31 16:29:21  来源:  作者:
由于缓存重建耗时较长,在这时间穿插线程2,3,4进入;那么这些线程都不能从缓存中查询到数据,同一时间去访问数据库,同时的去执行数据库操作代码,对数据库访问压力过大。

场景问题及原因

缓存穿透:

原因:客户端请求的数据在缓存和数据库中不存在,这样缓存永远不会生效,请求全部打入数据库,造成数据库连接异常。

解决思路:

  1. 缓存空对象
  2. 对于不存在的数据也在redis建立缓存,值为空,并设置一个较短的TTL时间问题:实现简单,维护方便,但短期的数据不一致问题

缓存雪崩:

原因:在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。

解决思路:给不同的Key的TTL添加随机值(简单),给缓存业务添加降级限流策略(复杂),给业务添加多级缓存(复杂)

缓存击穿(热点Key):

前提条件:热点Key&在某一时段被高并发访问&缓存重建耗时较长

原因:热点key突然过期,因为重建耗时长,在这段时间内大量请求落到数据库,带来巨大冲击

解决思路:

  1. 互斥锁
  2. 给缓存重建过程加锁,确保重建过程只有一个线程执行,其它线程等待问题:线程阻塞,导致性能下降且有死锁风险
  3. 逻辑过期
  4. 热点key缓存永不过期,而是设置一个逻辑过期时间,查询到数据时通过对逻辑过期时间判断,来决定是否需要重建缓存;重建缓存也通过互斥锁保证单线程执行,但是重建缓存利用独立线程异步执行,其它线程无需等待,直接查询到的旧数据即可问题:不保证一致性,有额外内存消耗且实现复杂

场景问题实践解决

完整代码地址:https://Github.com/xbhog/hm-dianping

分支:20221221-xbhog-cacheBrenkdown

分支:20230110-xbhog-Cache_P.NETration_Avalance

缓存穿透:

代码实现:

12345678910111213141516171819202122public Shop queryWithPassThrough(Long id){
    //从redis查询商铺信息
    String shopInfo = stringRedisTemplate.opsForValue().get(SHOP_CACHE_KEY + id);
    //命中缓存,返回店铺信息
    if(StrUtil.isNotBlank(shopInfo)){
        return JSONUtil.toBean(shopInfo, Shop.class);
    }
    //redis既没有key的缓存,但查出来信息不为null,则为空字符串
    if(shopInfo != null){
        return null;
    }
    //未命中缓存
    Shop shop = getById(id);
    if(Objects.isNull(shop)){
        //将null添加至缓存,过期时间减少
        stringRedisTemplate.opsForValue().set(SHOP_CACHE_KEY+id,"",5L, TimeUnit.MINUTES);
        return null;
    }
    //对象转字符串
    stringRedisTemplate.opsForValue().set(SHOP_CACHE_KEY+id,JSONUtil.toJsonStr(shop),30L, TimeUnit.MINUTES);
    return shop;
}

上述流程图和代码非常清晰,由于缓存雪崩简单实现(复杂实践不会)增加随机TTL值,缓存穿透和缓存雪崩不过多解释。

缓存击穿:

缓存击穿逻辑分析:

首先线程1在查询缓存时未命中,然后进行查询数据库并重建缓存。注意上述缓存击穿发生的条件,被高并发访问&缓存重建耗时较长;

由于缓存重建耗时较长,在这时间穿插线程2,3,4进入;那么这些线程都不能从缓存中查询到数据,同一时间去访问数据库,同时的去执行数据库操作代码,对数据库访问压力过大。

互斥锁:

解决方式:加锁;****可以采用**tryLock方法 + double check**来解决这样的问题

在线程2执行的时候,由于线程1加锁在重建缓存,所以线程2被阻塞,休眠等待线程1执行完成后查询缓存。由此造成在重建缓存的时候阻塞进程,效率下降且有死锁的风险。

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455private Shop queryWithMutex(Long id) {
    //从redis查询商铺信息
    String shopInfo = stringRedisTemplate.opsForValue().get(SHOP_CACHE_KEY + id);
    //命中缓存,返回店铺信息
    if(StrUtil.isNotBlank(shopInfo)){
        return JSONUtil.toBean(shopInfo, Shop.class);
    }
    //redis既没有key的缓存,但查出来信息不为null,则为空字符串
    if(shopInfo != null){
        return null;
    }
    //实现缓存重建
    String lockKey = "lock:shop:"+id;
    Shop shop = null;
    try {
        Boolean aBoolean = tryLock(lockKey);
        if(!aBoolean){
            //加锁失败,休眠
            Thread.sleep(50);
            //递归等待
            return queryWithMutex(id);
        }
        //获取锁成功应该再次检测redis缓存是否还存在,做doubleCheck,如果存在则无需重建缓存。
        synchronized (this){
            //从redis查询商铺信息
            String shopInfoTwo = stringRedisTemplate.opsForValue().get(SHOP_CACHE_KEY + id);
            //命中缓存,返回店铺信息
            if(StrUtil.isNotBlank(shopInfoTwo)){
                return JSONUtil.toBean(shopInfoTwo, Shop.class);
            }
            //redis既没有key的缓存,但查出来信息不为null,则为“”
            if(shopInfoTwo != null){
                return null;
            }
            //未命中缓存
            shop = getById(id);
            // 5.不存在,返回错误
            if(Objects.isNull(shop)){
                //将null添加至缓存,过期时间减少
                stringRedisTemplate.opsForValue().set(SHOP_CACHE_KEY+id,"",5L, TimeUnit.MINUTES);
                return null;
            }
            //模拟重建的延时
            Thread.sleep(200);
            //对象转字符串
            stringRedisTemplate.opsForValue().set(SHOP_CACHE_KEY+id,JSONUtil.toJsonStr(shop),30L, TimeUnit.MINUTES);
        }

    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    } finally {
        unLock(lockKey);
    }
    return shop;
}

在获取锁失败时,证明已有线程在重建缓存,使当前线程休眠并重试(递归实现)。

代码中需要注意的是synchronized关键字的使用,在获取到锁的时候,在判断下缓存是否存在(失效)double-check,该关键字锁的是当前对象。在其关键字{}中是同步处理。

推荐博客:https://blog.csdn.net/u013142781/article/detAIls/51697672

然后进行测试代码,进行压力测试(jmeter),首先去除缓存中的值,模拟缓存失效。

设置1000个线程,多线程执行间隔5s。

所有的请求都是成功的,其qps大约在200,其吞吐量还是比较可观的。然后看下缓存是否成功(只查询一次数据库);

逻辑过期:

思路分析:

当用户开始查询redis时,判断是否命中,如果没有命中则直接返回空数据,不查询数据库,而一旦命中后,将value取出,判断value中的过期时间是否满足,如果没有过期,则直接返回redis中的数据,如果过期,则在开启独立线程后直接返回之前的数据,独立线程去重构数据,重构完成后释放互斥锁。

封装数据:这里我们采用新建实体类来实现

12345678910/**
 * @author xbhog
 * @describe:
 * @date
@Data
public class RedisData {
    private LocalDateTime expireTime;
    private Object data;
}

使得过期时间和数据有关联关系,这里的数据类型是Object,方便后续不同类型的封装。

123456789101112131415161718192021222324252627282930313233343536373839public Shop queryWithLogicalExpire( Long id ) {
    String key = CACHE_SHOP_KEY + id;
    // 1.从redis查询商铺缓存
    String json = stringRedisTemplate.opsForValue().get(key);
    // 2.判断是否存在
    if (StrUtil.isBlank(json)) {
        // 3.存在,直接返回
        return null;
    }
    // 4.命中,需要先把json反序列化为对象
    RedisData redisData = JSONUtil.toBean(json, RedisData.class);
    Shop shop = JSONUtil.toBean((JSONObject) redisData.getData(), Shop.class);
    LocalDateTime expireTime = redisData.getExpireTime();
    // 5.判断是否过期
    if(expireTime.isAfter(LocalDateTime.now())) {
        // 5.1.未过期,直接返回店铺信息
        return shop;
    }
    // 5.2.已过期,需要缓存重建
    // 6.缓存重建
    // 6.1.获取互斥锁
    String lockKey = LOCK_SHOP_KEY + id;
    boolean isLock = tryLock(lockKey);
    // 6.2.判断是否获取锁成功
    if (isLock){
        exectorPool().execute(() -> {
            try {
                //重建缓存
                this.saveShop2Redis(id, 20L);
            } catch (Exception e) {
                throw new RuntimeException(e);
            } finally {
                unLock(lockKey);
            }
        });
    }
    // 6.4.返回过期的商铺信息
    return shop;
}

当前的执行流程跟互斥锁基本相同,需要注意的是,在获取锁成功后,我们将缓存重建放到线程池中执行,来异步实现。

线程池代码:

12345678910111213141516/**
 * 线程池的创建
 * @return
 */
private static ThreadPoolExecutor exectorPool(){
    ThreadPoolExecutor executor = new ThreadPoolExecutor(
            5,
            //根据自己的处理器数量+1
            Runtime.getRuntime().availableProcessors()+1,
            2L,
            TimeUnit.SECONDS,
            new LinkedBlockingDeque<>(3),
            Executors.defaultThreadFactory(),
            new ThreadPoolExecutor.AbortPolicy());
    return executor;
}

缓存重建代码:
1234567891011121314/**
 * 重建缓存
 * @param id 重建ID
 * @param l 过期时间
 */
public void saveShop2Redis(Long id, long l){
    //查询店铺信息
    Shop shop = getById(id);
    //封装逻辑过期时间
    RedisData redisData = new RedisData();
    redisData.setData(shop);
    redisData.setExpireTime(LocalDateTime.now().plusSeconds(l));
    stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY+id,JSONUtil.toJsonStr(redisData));
}

测试条件:100线程,1s线程间隔时间,缓存失效时间10s。

测试环境:缓存中存在对应的数据,并且在缓存快失效之前修改数据库中的数据,造成缓存与数据库不一致,通过执行压测,来查看相关线程返回的数据情况。

从上述两张图中可以看到,在前几个线程执行过程中店铺name为102,当执行时间从19-20的时候店铺name发生变化为105,满足逻辑过期异步执行缓存重建的需求.​



Tags:   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
放弃百万年薪,大厂人跳到国企后悔了吗?
当互联网行业的高速发展告一段落,不少大厂人主动或被迫地离开了“高速公路”,转而投奔更稳定的国企。他们也管这叫做“上岸”。在这个时代,人们似乎有上不完的岸,幼升小、小升初...【详细内容】
2024-04-15  Search:   点击:(0)  评论:(0)  加入收藏
一季报亮点多多,这些公司净利高增,消费电子龙头营收创新高
截至4月14日,27家公司一季报净利润同比增幅超150%。多家上市公司一季报业绩良好4月14日晚间,多家上市公司披露2024年一季度相关报告,净利润表现均良好。深圳机场预计一季度实现...【详细内容】
2024-04-15  Search:   点击:(1)  评论:(0)  加入收藏
上市公司2023年年报 展现券商重仓股变化
本报记者 周尚伃 见习记者 于 宏随着上市公司2023年年报密集披露,备受市场关注的券商重仓股也浮出水面。艾文智略首席投资官曹辙对《证券日报》记者表示:“券商重仓股的布局对...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
Google成了“AI界汪峰”,全都怪OpenAI?
  2016 年,Google CEO 桑达尔&middot;皮查伊在 I/O 开发者大会上豪情满怀地向全世界宣布:Google 已经成为了搜索的代名词,Alphabet 未来将成为一家 AI 优先的公司。  凭借...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
重磅!最严退市新规来了
证监会上市司司长郭瑞明4月12日在证监会新闻发布会上表示,为深入贯彻落实中央金融工作会议以及《国务院关于加强监管防范风险推动资本市场高质量发展的若干意见》精神,进一步...【详细内容】
2024-04-15  Search:   点击:(4)  评论:(0)  加入收藏
提高上市标准畅通退市渠道 优化净化资本市场的一池春水
◎记者 张雪日前,国务院印发《关于加强监管防范风险推动资本市场高质量发展的若干意见》(下称新“国九条”)强调,要“严把发行上市准入关”,“加大退市监管力度”。新“国九条”...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
A股突发!超千家将被ST?真相来了
4月12日,新“国九条”以及证监系统一系列配套措施、征意稿出台。为了落实新“国九条”,交易所制定修订了一系列规则,将多年不分红或者分红比例偏低的公司纳入ST。记者注意到,有...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
证监会:加快推动“1+N”政策体系落地实施
召开贯彻落实资本市场新“国九条”及配套政策文件动员部署会暨政策培训会证监会:加快推动“1+N”政策体系落地实施◎记者 梁银妍中国证监会4月13日发布消息称,证监会近日召开...【详细内容】
2024-04-15  Search:   点击:(3)  评论:(0)  加入收藏
这类基金需警惕!热衷高换手,斩获收益的基金不足两成
高换手率或将加大亏损风险。2023年,市场热点行业、主题轮动加速,不少公募基金为了能跟上热点、提升收益,而频繁操作调仓换股。基金换手率,反映的是基金经理的股票交易频率,以及在...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
程序化交易迎来新规
【深圳商报讯】(记者 陈燕青)证监会近日就《证券市场程序化交易管理规定(试行)(征求意见稿)》,向社会公开征求意见。这意味着备受市场关注的程序化交易迎来新规。具体来看,一是明确...【详细内容】
2024-04-15  Search:   点击:(2)  评论:(0)  加入收藏
▌简易百科推荐
16个Redis常见使用场景总结
来源:blog.csdn.net/qq_39938758/article/details/105577370目录 缓存 数据共享分布式 分布式锁 全局ID 计数器 限流 位统计 购物车 用户消息时间线timeline 消息...【详细内容】
2024-04-11    书圈  Tags:Redis   点击:(6)  评论:(0)  加入收藏
Linux获取Redis 性能指标方法
一、监控指标&Oslash; 性能指标:Performance&Oslash; 内存指标: Memory&Oslash; 基本活动指标:Basic activity&Oslash; 持久性指标: Persistence&Oslash; 错误指标:Error二、监...【详细内容】
2024-04-11  上海天正信息科技有限    Tags:Redis   点击:(9)  评论:(0)  加入收藏
Redis与缓存一致性问题
缓存一致性问题是在使用缓存系统,如Redis时经常遇到的问题。当数据在原始数据源(如数据库)中发生变化时,如何确保缓存中的数据与数据源保持一致,是开发者需要关注的关键问题。一...【详细内容】
2024-04-11  后端Q    Tags:Redis   点击:(6)  评论:(0)  加入收藏
Redis 不再 “开源”,未来采用 SSPLv1 和 RSALv2 许可证
Redis 官方于21日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause...【详细内容】
2024-03-27  dbaplus社群    Tags:Redis   点击:(20)  评论:(0)  加入收藏
Redis“叛逃”开源,得罪了几乎所有人
内存数据库供应商Redis近日在开源界砸下了一块“巨石”。Redis即将转向双许可模式,并实施更为严格的许可条款。官方对此次变更的公告直截了当:从Redis 7.4版本开始,Redis将在Re...【详细内容】
2024-03-25    51CTO  Tags:Redis   点击:(12)  评论:(0)  加入收藏
如何使用 Redis 实现消息队列
Redis不仅是一个强大的内存数据存储系统,它还可以用作一个高效的消息队列。消息队列是应用程序间或应用程序内部进行异步通信的一种方式,它允许数据生产者将消息放入队列中,然...【详细内容】
2024-03-22  后端Q  微信公众号  Tags:Redis   点击:(20)  评论:(0)  加入收藏
Redis不再 “开源”
Redis 官方今日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause 开...【详细内容】
2024-03-21  OSC开源社区    Tags:Redis   点击:(13)  评论:(0)  加入收藏
在Redis中如何实现分布式锁的防死锁机制?
在Redis中实现分布式锁是一个常见的需求,可以通过使用Redlock算法来防止死锁。Redlock算法是一种基于多个独立Redis实例的分布式锁实现方案,它通过协调多个Redis实例之间的锁...【详细内容】
2024-02-20  编程技术汇    Tags:Redis   点击:(50)  评论:(0)  加入收藏
手动撸一个 Redis 分布式锁
大家好呀,我是楼仔。今天第一天开工,收拾心情,又要开始好好学习,好好工作了。对于使用 Java 的小伙伴,其实我们完全不用手动撸一个分布式锁,直接使用 Redisson 就行。但是因为这些...【详细内容】
2024-02-19  楼仔  微信公众号  Tags:Redis   点击:(42)  评论:(0)  加入收藏
工作中Redis有哪些好用的运维工具
工作中使用 Redis 时,如果大家公司没有专业运维,可能开发人员就会面临这些运维的工作,包括 Redis 的运行状态监控,数据迁移,主从集群、切片集群的部署和运维等等。本文我就从这三...【详细内容】
2024-02-06  waynaqua    Tags:Redis   点击:(58)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条