您当前的位置:首页 > 电脑百科 > 数据库 > 百科

如何解决缓存穿透、缓存击穿、缓存雪崩?才能使数据库幸免于难

时间:2023-03-16 13:41:03  来源:今日头条  作者:Java编程世界

随着互联网应用的不断发展,应用程序越来越复杂,同时面对的数据量也越来越大,对于性能的要求也越来越高。缓存技术的应用已经成为了许多互联网应用的必备技术之一。SpringBoot作为一款优秀的JAVA开发框架,在缓存方面也提供了一些优秀的解决方案,可以帮助我们解决缓存穿透、缓存击穿、缓存雪崩等问题。

一、redis缓存

Redis是一个高性能的键值对存储数据库,也是一个基于内存的数据结构存储系统,同时也支持持久化数据存储。Redis提供了丰富的数据结构,包括字符串、哈希、列表、集合、有序集合等。在缓存方面,Redis最大的优点就是支持数据的持久化存储,同时也具有很好的性能和扩展性。

二、缓存穿透

缓存穿透是指查询一个不存在的数据,由于缓存中没有数据,请求会直接穿透到数据库中,从而引起数据库的压力过大,严重影响系统的性能。解决缓存穿透的常用方法有两种:

布隆过滤器

布隆过滤器是一种高效的数据结构,可以判断一个元素是否存在于一个集合中,同时也可以减轻数据库的压力。在使用布隆过滤器的时候,首先将所有的数据hash到一个位图中,如果查询的数据在位图中不存在,那么直接返回不存在,从而避免了对数据库的查询操作。

在SpringBoot中,我们可以使用Guava提供的布隆过滤器实现缓存穿透的解决方案。例如:

@Beanpublic BloomFilter bloomFilter() {return bloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), 100000, 0.001);@Overridepublic User getUserById(String id) {// 先从布隆过滤器中查询是否存在if (!bloomFilter.mightContAIn(id)) {return null;// 如果存在,则查询Redis中的缓存数据User user = redisTemplate.opsForValue().get(id);if (user == null) {// 如果Redis中不存在,则查询数据库user = userDao.getUserById(id);if (user != null) {// 将数据缓存到Redis中redisTemplate.opsForValue().set(id, user);} else {// 如果数据库中也不存在,则将该id加入到布隆过滤器中bloomFilter.put(id);return user;

在上面的代码中,首先通过布隆过滤器判断请求的数据是否存在于集合中,如果不存在,则直接返回null,从而避免了对数据库的查询操作。

空对象缓存

另外一种解决缓存穿透的方法是采用空对象缓存的方式,即当查询的数据不存在时,将一个空对象缓存到Redis中。这样下次查询同样不存在的数据时,就可以直接从Redis中获取到一个空对象,从而避免了对数据库的查询操作。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现空对象缓存的解决方案。例如:

@Overridepublic User getUserById(String id) {User user = redisTemplate.opsForValue().get(id);if (user == null) {// 如果Redis中不存在,则查询数据库user = userDao.getUserById(id);if (user != null) {// 将数据缓存到Redis中redisTemplate.opsForValue().set(id, user);} else {// 如果数据库中也不存在,则将一个空对象缓存到Redis中,设置过期时间防止缓存雪崩redisTemplate.opsForValue().set(id, new User(), 5, TimeUnit.MINUTES);return user;

在上面的代码中,当查询的数据不存在时,我们将一个空对象缓存到Redis中,并设置了5分钟的过期时间。这样即使缓存中的数据被清空了,也不会引起数据库的压力过大,从而避免了缓存穿透。

三、缓存击穿

缓存击穿是指一个非常热点的数据在缓存中过期之后,正好在这个时间段内有大量的请求访问该数据,这些请求会直接穿透到数据库中,从而引起数据库的压力过大,严重影响系统的性能。解决缓存击穿的常用方法有两种:

设置热点数据永不过期

一种解决缓存击穿的方法是将热点数据设置为永不过期,从而避免缓存失效的问题。但是这种方法存在一个缺点,就是热点数据可能会被修改,如果不及时更新缓存,可能会导致缓存中的数据与实际数据不一致。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现设置热点数据永不过期的解决方案。例如:

@Overridepublic User getHotUserById(String id) {User user = redisTemplate.opsForValue().get(id);if (user == null) {// 如果Redis中不存在,则查询数据库user = userDao.getHotUserById(id);if (user != null) {// 将数据缓存到Redis中,设置过期时间为1小时redisTemplate.opsForValue().set(id, user, 1, TimeUnit.HOURS);return user;

在上面的代码中,我们将热点数据的过期时间设置为1小时,从而避免了缓存击穿的问题。但是这种方法存在一个缺点,就是如果在1小时内热点数据被修改了,缓存中的数据就会失效,需要重新查询数据库。

延迟缓存双写策略

另外一种解决缓存击穿的方法是采用延迟缓存双写策略,即在缓存中查询数据时,如果数据不存在,不立即去数据库中查询,而是先在缓存中写入一个空对象,然后再去数据库中查询数据并更新缓存,从而避免了缓存击穿的问题。

在SpringBoot中,我们可以通过设置Redis缓存的过期时间来实现延迟缓存双写策略的解决方案。例如:

@Overridepublic User getHotUserById(String id) {User user = redisTemplate.opsForValue().get(id);if (user == null) {// 如果Redis中不存在,则写入一个空对象redisTemplate.opsForValue().set(id, new User(), 5, TimeUnit.MINUTES);// 去数据库中查询数据并更新缓存user = userDao.getHotUserById(id);if (user != null) {redisTemplate.opsForValue().set(id, user, 1, TimeUnit.HOURS);return user;

在上面的代码中,我们先在缓存中写入一个空对象,并设置了5分钟的过期时间,然后再去数据库中查询数据并更新缓存。这样即使在查询数据的过程中,大量请求访问了该数据,也不会直接穿透到数据库中,从而避免了缓存击穿的问题。

四、缓存雪崩

缓存雪崩是指当缓存中的大量数据在同一时间失效,导致大量请求直接访问数据库,从而引起数据库的压力过大,严重影响系统的性能。解决缓存雪崩的常用方法有三种:

缓存数据的随机过期时间

一种解决缓存雪崩的方法是在缓存数据的过期时间上增加随机因素,从而避免大量数据在同一时间失效的情况。在SpringBoot中,我们可以通过设置Redis缓存的过期时间和一个随机值来实现这个解决方案。例如:

@Overridepublic List getUserList() {List userList = redisTemplate.opsForValue().get("userList");if (userList == null) {// 如果Redis中不存在,则查询数据库userList = userDao.getUserList();if (userList != null && userList.size() > 0) {// 将数据缓存到Redis中,并增加随机的过期时间int random = new Random().nextInt(600) + 600;redisTemplate.opsForValue().set("userList", userList, random, TimeUnit.SECONDS);return userList;

在上面的代码中,我们先在缓存中查询数据,如果不存在,则去数据库中查询,并将数据缓存到Redis中,并增加随机的过期时间。这样即使大量数据在同一时间失效,也不会全部直接访问数据库,从而避免了缓存雪崩的问题。

2. 预热缓存

另外一种解决缓存雪崩的方法是在系统启动时预热缓存,将系统中的热点数据提前加载到缓存中,从而避免了大量请求同时访问数据库的情况。在SpringBoot中,我们可以通过编写一个启动时执行的方法,来实现预热缓存的解决方案。例如:

@Componentpublic class CacheInit implements CommandLineRunner {@Autowiredprivate UserDao userDao;@Autowiredprivate RedisTemplate redisTemplate;@Overridepublic void run(String... args) throws Exception {List userList = userDao.getUserList();if (userList != null && userList.size() > 0) {// 将数据缓存到Redis中,并设置过期时间为1小时for (User user : userList) {redisTemplate.opsForValue().set(user.getId(), user, 1, TimeUnit.HOURS);

在上面的代码中,我们在系统启动时执行run方法,在该方法中先去数据库中查询热点数据,然后将数据缓存到Redis中,并设置过期时间为1小时。这样即使缓存中的数据在同一时间失效,也能够保证系统中的热点数据始终被缓存,从而避免了缓存雪崩的问题。

3. 使用分布式锁

最后一种解决缓存雪崩的方法是使用分布式锁,从而避免大量请求同时访问数据库的情况。在SpringBoot中,我们可以通过Redisson来实现分布式锁的解决方案。例如:

@Overridepublic List getUserList() {List userList = redisTemplate.opsForValue().get("userList");if (userList == null) {// 如果Redis中不存在,则尝试获取分布式锁RLock lock = redissonClient.getLock("userListLock");try {// 尝试加锁,并设置锁的过期时间为5秒boolean success = lock.tryLock(5, TimeUnit.SECONDS);if (success) {// 如果获取到了锁,则查询数据库并将数据缓存到Redis中userList = userDao.getUserList();if (userList != null && userList.size() > 0) {redisTemplate.opsForValue().set("userList", userList, 1, TimeUnit.HOURS);} catch (InterruptedException e) {e.printStackTrace();} finally {// 释放锁lock.unlock} return userList;

在上面的代码中,我们先在缓存中查询数据,如果不存在,则尝试获取分布式锁,如果获取到了锁,则查询数据库并将数据缓存到Redis中。如果没有获取到锁,则等待一段时间再尝试获取锁,这样即使大量请求同时访问系统,也能够保证只有一个请求去查询数据库并缓存数据,从而避免了缓存雪崩的问题。

总结

如何利用好缓存,加快访问速度,提高并发的同时还不出现问题是一个优秀架构的关键,在开发过程中我经常会遇到一些问题,比如缓存穿透、缓存击穿和缓存雪崩,这些问题会导致系统性能下降、数据库负载过高等问题,因此必须采取一些措施来解决这些问题。

在实际应用中,需要根据系统的实际情况和性能要求来选择合适的机制,也可以采用多种机制来解决缓存问题。



Tags:缓存   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
Redis与缓存一致性问题
缓存一致性问题是在使用缓存系统,如Redis时经常遇到的问题。当数据在原始数据源(如数据库)中发生变化时,如何确保缓存中的数据与数据源保持一致,是开发者需要关注的关键问题。一...【详细内容】
2024-04-11  Search: 缓存  点击:(2)  评论:(0)  加入收藏
高并发架构设计(三大利器:缓存、限流和降级)
软件系统有三个追求:高性能、高并发、高可用,俗称三高。本篇讨论高并发,从高并发是什么到高并发应对的策略、缓存、限流、降级等。引言1.高并发背景互联网行业迅速发展,用户量剧...【详细内容】
2024-03-13  Search: 缓存  点击:(6)  评论:(0)  加入收藏
让数据库和缓存数据保持一致的三种策略
如何保证缓存和数据库的一致性,这算得上是个老生常谈的话题啦,看到好多技术新人在写更新缓存数据代码,采用了非常复杂甚至“诡异”的方案,甚为不解。一、背景目前随着缓存架构方...【详细内容】
2024-02-20  Search: 缓存  点击:(37)  评论:(0)  加入收藏
Java中的缓存技术及其使用场景
Java中的缓存技术是一种优化手段,用于提高应用程序的性能和响应速度。缓存技术通过将计算结果或者经常访问的数据存储在快速访问的存储介质中,以便下次需要时可以更快地获取。...【详细内容】
2024-01-30  Search: 缓存  点击:(72)  评论:(0)  加入收藏
SpringBoot如何实现缓存预热?
缓存预热是指在 Spring Boot 项目启动时,预先将数据加载到缓存系统(如 Redis)中的一种机制。那么问题来了,在 Spring Boot 项目启动之后,在什么时候?在哪里可以将数据加载到缓存系...【详细内容】
2024-01-19  Search: 缓存  点击:(86)  评论:(0)  加入收藏
苹果Safari浏览器如何快速清理缓存?只需简单两步,轻松解决!
Safari是一款由苹果公司开发的多功能浏览器,以其快速、稳定和安全而受到用户的青睐。在我们使用Safari时,它会产生大量的缓存文件。这些缓存文件会占用存储空间,影响设备的运行...【详细内容】
2024-01-17  Search: 缓存  点击:(81)  评论:(0)  加入收藏
并发环境下,先操作数据库还是先操作缓存?
大家好,我是田螺。在分布式系统中,缓存和数据库同时存在时,如果有写操作的时候,先操作数据库还是先操作缓存呢?先思考一下,可能会存在哪些问题,再往下看。下面我分几种方案阐述。...【详细内容】
2023-12-27  Search: 缓存  点击:(105)  评论:(0)  加入收藏
JavaScript的作用域、闭包、高阶函数、柯里化、函数缓存和纯函数
作用域就是当前执行环境的上下文,它限制了变量、函数的有效范围。在当前作用域下声明的变量、函数只能在当前作用域内以及它嵌套的子作用域内有效。这样避免变量和函数的命名...【详细内容】
2023-12-15  Search: 缓存  点击:(138)  评论:(0)  加入收藏
Redis 除了用作缓存还能干吗?
今天我们来聊聊 Redis 的使用案例。Redis 是一种内存键值数据库。它支持多种数据结构,如 String, Hash, List, Set 和 SortedSet。图片01 缓存Redis 的最常用的用例是缓存,以...【详细内容】
2023-12-11  Search: 缓存  点击:(119)  评论:(0)  加入收藏
互联网大厂是如何设计和使用缓存的?方案已开源!
最近,有小伙伴私信我:冰哥,我最近出去面试,面试官问我如何设计缓存能让系统在百万级别流量下仍能平稳运行,我当时没回答上来。接着,面试官问我之前的项目是怎么使用缓存的,我说只是...【详细内容】
2023-12-11  Search: 缓存  点击:(144)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(5)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(5)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(14)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(13)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(7)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(15)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 ↓select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(6)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(5)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(27)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, '研发部(RD)', &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(20)  评论:(0)  加入收藏
站内最新
站内热门
站内头条