您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

缓存管理模式,监控和内存回收策略

时间:2020-10-21 12:23:11  来源:  作者:

一、缓存设计

1、缓存的作用

在业务系统中,查询时最容易出现性能问题的模块,查询面对的数据量大,筛选条件复杂,所以在系统架构中引入缓存层,则是非常必要的,用来缓存热点数据,达到快速响应的目的。

缓存使用的基本原则:

  • 所有缓存数据,必须设置过期时间;
  • 核心业务流程不通过缓存层;
  • 缓存层移除,不影响现有流程;
  • 系统各个端首页数据不实时查询;
  • 报表数据不实时查询加载;
  • 归档数据(定时统计的结果数据)不实时查询;

这里是业务架构中常用的缓存策略,缓存通过牺牲强一致性来提高性能,所以并不是所有的业务都适合用缓存,实际考量都会针对具体的业务,比如用户相关维度的数据修改频率低,会使用缓存,但是用户权限数据(比如:免费次数)会考虑实时校验,缓存层使用的相对较少。

2、缓存设计模式

Cache-Aside模式

业务中最常用的缓存层设计模式,基本实现逻辑和相关概念如下:

架构设计 | 缓存管理模式,监控和内存回收策略

 

  • 缓存命中:直接查询缓存且命中,返回数据;
  • 缓存加载:查询缓存未命中,从数据库中查询数据,获取数据后并加载到缓存;
  • 缓存失效:数据更新写到数据库,操作成功后,让缓存失效,查询时候再重新加载;
  • 缓存穿透:查询数据库不存在的对象,也就不存在缓存层的命中;
  • 缓存击穿:热点key在失效的瞬间,高并发查询这个key,击穿缓存,直接请求数据库;
  • 缓存雪崩:缓存Key大批量到过期时间,导致数据库压力过大;
  • 命中率:缓存设计的是否合理要看命中率,命中率高说明缓存有效抗住了大部分请求,命中率可以通过redis监控信息计算,一般来说命中率在(70-80)%都算合理。 并发问题

执行读操作未命中缓存,然后查询数据库中取数据,数据已经查询到还没放入缓存,同时一个更新写操作让缓存失效,然后读操作再把查询到数据加载缓存,导致缓存的脏数据。

在遵守缓存使用原则下出现该情况概率非常低,可以通过复杂的Paxos协议保证一致性,一般情况是不考量该场景的处理,如果缓存管理过于复杂,会和缓存层核心理念相悖。

基本描述代码:

@Service
public class KeyValueServiceImpl extends ServiceImpl<KeyValueMApper, KeyValueEntity> implements KeyValueService {

    @Resource
    private RedisService redisService ;

    @Override
    public KeyValueEntity select(Integer id) {
        // 查询缓存
        String redisKey = RedisKeyUtil.getObectKey(id) ;
        String value = redisService.get(redisKey) ;
        if (!StringUtils.isEmpty(value) && !value.equals("null")){
            return JSON.parseobject(value,KeyValueEntity.class);
        }
        // 查询库
        KeyValueEntity keyValueEntity = this.getById(id) ;
        if (keyValueEntity != null){
            // 缓存写入
            redisService.set(redisKey,JSON.toJSONString(keyValueEntity)) ;
        }
        // 返回值
        return keyValueEntity ;
    }

    @Override
    public boolean update(KeyValueEntity keyValueEntity) {
        // 更新数据
        boolean updateFlag = this.updateById(keyValueEntity) ;
        // 清除缓存
        if (updateFlag){
            redisService.delete(RedisKeyUtil.getObectKey(keyValueEntity.getId()));
        }
        return updateFlag ;
    }
}

Read-Throug模式

当应用系统向缓存系统请求数据时,如果缓存中并没有对应的数据存在,缓存系统将向底层数据源的读取数据。如果数据在缓存中存在,则直接返回缓存中存在的数据。把更新数据库的操作由缓存层代劳了。

Write-Through模式

更新写数据时,如果没有命中缓存,则直接更新数据库,如果命中了缓存,则先更新缓存,然后由缓存系统自行更新数据库。

Write-Behind模式

应用系统对缓存中的数据进行更新时,只更新缓存,不更新数据库,缓存系统会异步批量向底层数据源更新数据。

二、数据一致问题

业务开发模式中,会涉及到一个问题:如何最大限度保证数据库和Redis缓存的数据一致性?

首先说明一下:数据库和缓存强一致性同步成本太高,如果追求强一致,缓存层存在的价值就会很低,如上缓存模式一中几乎可以解决大部分业务场景问题。

解决这个问题的方式很多:

架构设计 | 缓存管理模式,监控和内存回收策略

 

方案一说明:

  • 数据库更新写入数据成功;
  • 准备一个先进先出模式的消息队列;
  • 把更新的数据包装为一个消息放入队列;
  • 基于消息消费服务更新Redis缓存;

分析:消息队列的稳定和可靠性,操作层面数据库和缓存层解耦。

方案二说明:

  • 提供一个数据库Binlog订阅服务,并解析修改日志;
  • 服务获取修改数据,并向Redis服务发送消息;
  • Redis数据进行修改,类似MySQL的主从同步机制;

分析:系统架构层面多出一个服务,且需要解析MySQL日志,操作难度较大,但流程上更为合理。

总结描述

分布式架构中,缓存层面的基本需求就是提高响应速度,不断优化,追求数据库和Redis缓存的数据快速一致性,从提供的各种方案中都可以看出,这也在增加缓存层面处理的复杂性,架构逻辑复杂,就容易导致程序错误,所以针对业务选择合理的处理逻辑,这点很关键。

三、缓存监控

1、Redis服务监控

通过info命令查看Redis服务的参数信息,可以通过传参查看指定分类配置。通过config..set设置具体配置参数。例如:

@Override
public Properties info(String var) {
    if (StringUtils.isEmpty(var)){
        return redisTemplate.getRequiredConnectionFactory().getConnection().info();
    }
    return redisTemplate.getRequiredConnectionFactory().getConnection().info(var);
}

传参说明:

  • memory:内存消耗相关信息
  • server:有关Redis服务器的常规信息
  • clients:客户端连接部分
  • stats:一般统计
  • cpu:CPU消耗统计信息

应用案例:

@RestController
public class MonitorController {

    @Resource
    private RedisService redisService ;

    private static final String[] monitorParam = new String[]{"memory","server","clients","stats","cpu"} ;

    @GetMapping("/monitor")
    public List<MonitorEntity> monitor (){
        List<MonitorEntity> monitorEntityList = new ArrayList<>() ;
        for (String param:monitorParam){
            Properties properties = redisService.info(param) ;
            MonitorEntity monitorEntity = new MonitorEntity () ;
            monitorEntity.setMonitorParam(param);
            monitorEntity.setProperties(properties);
            monitorEntityList.add(monitorEntity);
        }
        return monitorEntityList ;
    }

}

通过上述参数组合,把Redis相关配置参数打印出来,然后可视化输出,俨然一副高端的感觉。

配置参数说明:

这里只对两个参数说明一下,计算命中率的关键信息:

  • keyspace_misses:查找缓存Key失败的次数;
  • keyspace_hits:查找缓存Key命中的次数;

公式:命中率=命中次数/(hits+misses)查找总次数。

2、LRU算法说明

Redis的数据是放在内存中的,所以速度快,自然也就受到内存大小的限制,如果内存使用超过配置,Redis有不同的回收处理策略。

内存模块参数:maxmemory_policy

  • noenviction:不回收数据,查询直接返回错误,但可以执行删除;
  • allkeys-lru:从所有的数据中挑选最近最少使用的数据淘汰;
  • volatile-lru:已设置过期时间的数据中挑选最近最少使用的数据淘汰;
  • allkeys-random:从所有数据中任意选择数据淘汰;
  • volatile-random:从已设置过期时间的数据中任意选择数据淘汰;
  • volatile-ttl:从已设置过期时间的数据中挑选将要过期的数据淘汰;

大部分情况下,业务都是希望最热点数据可以被缓存,所以相对使用allkeys-lru策略偏多。这里要根据业务模式特点衡量。



Tags:缓存管理   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一、缓存设计1、缓存的作用在业务系统中,查询时最容易出现性能问题的模块,查询面对的数据量大,筛选条件复杂,所以在系统架构中引入缓存层,则是非常必要的,用来缓存热点数据,达到快...【详细内容】
2020-10-21  Tags: 缓存管理  点击:(78)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(3)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(8)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(20)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(16)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(16)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条