您当前的位置:首页 > 电脑百科 > 程序开发 > 框架

一种实现Spring动态数据源切换的方法

时间:2023-06-20 12:43:49  来源:京东云开发者  作者:

1 目标

 

 

不在现有查询代码逻辑上做任何改动,实现dao维度的数据源切换(即表维度)

 

 

2 使用场景

 

 

节约bdp的集群资源。接入新的宽表时,通常uat验证后就会停止集群释放资源,在对应的查询服务器uat环境时需要查询的是生产库的表数据(uat库表因为bdp实时任务停止,没有数据落入),只进行服务器配置文件的改动而无需进行代码的修改变更,即可按需切换查询的数据源。

 

 

2.1 实时任务对应的集群资源

 


 

2.2 实时任务产生的数据进行存储的两套环境

 


 

2.3 数据使用系统的两套环境(查询展示数据)

 


 

即需要在zhongyouex-bigdata-uat中查询生产库的数据。

 

 

3 实现过程

 

 

3.1 实现重点

 

 

  1. org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource
    spring提供的这个类是本次实现的核心,能够让我们实现运行时多数据源的动态切换,但是数据源是需要事先配置好的,无法动态的增加数据源。
  2. Spring提供的Aop拦截执行的mApper,进行切换判断并进行切换。

 

 

注:另外还有一个就是ThreadLocal类,用于保存每个线程正在使用的数据源。

 

 

3.2 AbstractRoutingDataSource解析

 

 

public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean{    @Nullable    private Map<Object, Object> targetDataSources;    @Nullable    private Object defaultTargetDataSource;    @Override    public Connection getConnection() throws SQLException {        return determ.NETargetDataSource().getConnection();    }    protected DataSource determineTargetDataSource() {        Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");        Object lookupKey = determineCurrentLookupKey();        DataSource dataSource = this.resolvedDataSources.get(lookupKey);        if (dataSource == null && (this.lenientFallback || lookupKey == null)) {            dataSource = this.resolvedDefaultDataSource;        }        if (dataSource == null) {            throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");        }        return dataSource;    }    @Override    public void afterPropertiesSet() {        if (this.targetDataSources == null) {            throw new IllegalArgumentException("Property 'targetDataSources' is required");        }        this.resolvedDataSources = new HashMap<>(this.targetDataSources.size());        this.targetDataSources.forEach((key, value) -> {            Object lookupKey = resolveSpecifiedLookupKey(key);            DataSource dataSource = resolveSpecifiedDataSource(value);            this.resolvedDataSources.put(lookupKey, dataSource);        });        if (this.defaultTargetDataSource != null) {            this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource);        }    }

 

 

从上面源码可以看出它继承了AbstractDataSource,而AbstractDataSource是JAVAx.sql.DataSource的实现类,拥有getConnection()方法。获取连接的getConnection()方法中,重点是determineTargetDataSource()方法,它的返回值就是你所要用的数据源dataSource的key值,有了这个key值,resolvedDataSource(这是个map,由配置文件中设置好后存入targetDataSources的,通过targetDataSources遍历存入该map)就从中取出对应的DataSource,如果找不到,就用配置默认的数据源。

 

 

看完源码,我们可以知道,只要扩展AbstractRoutingDataSource类,并重写其中的determineCurrentLookupKey()方法返回自己想要的key值,就可以实现指定数据源的切换!

 

 

3.3 运行流程

 

 

  1. 我们自己写的Aop拦截Mapper
  2. 判断当前执行的sql所属的命名空间,然后使用命名空间作为key读取系统配置文件获取当前mapper是否需要切换数据源
  3. 线程再从全局静态的HashMap中取出当前要用的数据源
  4. 返回对应数据源的connection去做相应的数据库操作

 

 

3.4 不切换数据源时的正常配置

 

 

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd"><!-- clickhouse数据源   -->    <bean id="dataSourceClickhousePinpin" class="org.Apache.commons.dbcp2.BasicDataSource" destroy-method="close" lazy-init="true">        <property name="url" value="${clickhouse.jdbc.pinpin.url}" />    </bean>    <bean id="singleSessionFactoryPinpin" class="org.MyBatis.spring.SqlSessionFactoryBean">        <!-- ref直接指向 数据源dataSourceClickhousePinpin  --><property name="dataSource" ref="dataSourceClickhousePinpin" />    </bean></beans>

 

 

3.5 进行动态数据源切换时的配置

 

 

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd"><!-- clickhouse数据源 1  -->    <bean id="dataSourceClickhousePinpin" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close" lazy-init="true">        <property name="url" value="${clickhouse.jdbc.pinpin.url}" />    </bean><!-- clickhouse数据源 2  -->    <bean id="dataSourceClickhouseotherPinpin" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close" lazy-init="true">        <property name="url" value="${clickhouse.jdbc.other.url}" />    </bean> <!-- 新增配置 封装注册的两个数据源到multiDataSourcePinpin里 --> <!-- 对应的key分别是 defaultTargetDataSource和targetDataSources-->    <bean id="multiDataSourcePinpin" class="com.zhongyouex.bigdata.common.aop.MultiDataSource">      <!-- 默认使用的数据源--><property name="defaultTargetDataSource" ref="dataSourceClickhousePinpin"></property>        <!-- 存储其他数据源,对应源码中的targetDataSources --><property name="targetDataSources">            <!-- 该map即为源码中的resolvedDataSources-->            <map>                <!-- dataSourceClickhouseOther 即为要切换的数据源对应的key --><entry key="dataSourceClickhouseOther" value-ref="dataSourceClickhouseOtherPinpin"></entry>            </map>        </property>    </bean>    <bean id="singleSessionFactoryPinpin" class="org.mybatis.spring.SqlSessionFactoryBean">        <!-- ref指向封装后的数据源multiDataSourcePinpin  --><property name="dataSource" ref="multiDataSourcePinpin" />    </bean></beans>

 

 

核心是AbstractRoutingDataSource,由spring提供,用来动态切换数据源。我们需要继承它,来进行操作。这里我们自定义的com.zhongyouex.bigdata.common.aop.MultiDataSource就是继承了AbstractRoutingDataSource

 

 

package com.zhongyouex.bigdata.common.aop;import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;/** * @author: cuizihua * @description: 动态数据源 * @date: 2021/9/7 20:24 * @return */public class MultiDataSource extends AbstractRoutingDataSource {    /* 存储数据源的key值,InheritableThreadLocal用来保证父子线程都能拿到值。     */    private static final ThreadLocal<String> dataSourceKey = new InheritableThreadLocal<String>();    /**     * 设置dataSourceKey的值     *     * @param dataSource     */    public static void setDataSourceKey(String dataSource) {        dataSourceKey.set(dataSource);    }    /**     * 清除dataSourceKey的值     */    public static void toDefault() {        dataSourceKey.remove();    }    /**     * 返回当前dataSourceKey的值     */    @Override    protected Object determineCurrentLookupKey() {        return dataSourceKey.get();    }}

 

 

3.6 AOP代码

 

 

package com.zhongyouex.bigdata.common.aop;import com.zhongyouex.bigdata.common.util.LoadUtil;import lombok.extern.slf4j.Slf4j;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.reflect.MethodSignature;import java.lang.reflect.Method;/** * 方法拦截  粒度在mapper上(对应的sql所属xml) * @author cuizihua * @desc 切换数据源 * @create 2021-09-03 16:29 **/@Slf4jpublic class MultiDataSourceInterceptor {//动态数据源对应的key    private final String otherDataSource = "dataSourceClickhouseOther";    public void beforeOpt(JoinPoint mi) {//默认使用默认数据源        MultiDataSource.toDefault();        //获取执行该方法的信息        MethodSignature signature = (MethodSignature) mi.getSignature();        Method method = signature.getMethod();        String namespace = method.getDeclaringClass().getName();//本项目命名空间统一的规范为xxx.xxx.xxxMapper        namespace = namespace.substring(namespace.lastIndexOf(".") + 1);//这里在配置文件配置的属性为xxxMapper.ck.switch=1 or 0  1表示切换        String isOtherDataSource = LoadUtil.loadByKey(namespace, "ck.switch");        if ("1".equalsIgnoreCase(isOtherDataSource)) {            MultiDataSource.setDataSourceKey(otherDataSource);            String methodName = method.getName();        }    }}

 

 

3.7 AOP代码逻辑说明

 

 

通过org.aspectj.lang.reflect.MethodSignature可以获取对应执行sql的xml空间名称,拿到sql对应的xml命名空间就可以获取配置文件中配置的属性决定该xml是否开启切换数据源了。

 

 

3.8 对应的aop配置

 

 

<!--动态数据源--><bean id="multiDataSourceInterceptor" class="com.zhongyouex.bigdata.common.aop.MultiDataSourceInterceptor" ></bean><!--将自定义拦截器注入到spring中--><aop:config proxy-target-class="true" expose-proxy="true">    <aop:aspect ref="multiDataSourceInterceptor">        <!--切入点,也就是你要监控哪些类下的方法,这里写的是DAO层的目录,表达式需要保证只扫描dao层-->        <aop:pointcut id="multiDataSourcePointcut" expression="execution(*  com.zhongyouex.bigdata.clickhouse..*.*(..)) "/>        <!--在该切入点使用自定义拦截器-->        <aop:before method="beforeOpt" pointcut-ref="multiDataSourcePointcut" />    </aop:aspect></aop:config>

 

 

以上就是整个实现过程,希望能帮上有需要的小伙伴

 

 

作者:京东物流 崔子华

来源:京东云开发者社区



Tags:Spring   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
Spring Security:保障应用安全的利器
SpringSecurity作为一个功能强大的安全框架,为Java应用程序提供了全面的安全保障,包括认证、授权、防护和集成等方面。本文将介绍SpringSecurity在这些方面的特性和优势,以及它...【详细内容】
2024-02-27  Search: Spring  点击:(54)  评论:(0)  加入收藏
Spring Security权限控制框架使用指南
在常用的后台管理系统中,通常都会有访问权限控制的需求,用于限制不同人员对于接口的访问能力,如果用户不具备指定的权限,则不能访问某些接口。本文将用 waynboot-mall 项目举例...【详细内容】
2024-02-19  Search: Spring  点击:(39)  评论:(0)  加入收藏
详解基于SpringBoot的WebSocket应用开发
在现代Web应用中,实时交互和数据推送的需求日益增长。WebSocket协议作为一种全双工通信协议,允许服务端与客户端之间建立持久性的连接,实现实时、双向的数据传输,极大地提升了用...【详细内容】
2024-01-30  Search: Spring  点击:(15)  评论:(0)  加入收藏
Spring实现Kafka重试Topic,真的太香了
概述Kafka的强大功能之一是每个分区都有一个Consumer的偏移值。该偏移值是消费者将读取的下一条消息的值。可以自动或手动增加该值。如果我们由于错误而无法处理消息并想重...【详细内容】
2024-01-26  Search: Spring  点击:(86)  评论:(0)  加入收藏
SpringBoot如何实现缓存预热?
缓存预热是指在 Spring Boot 项目启动时,预先将数据加载到缓存系统(如 Redis)中的一种机制。那么问题来了,在 Spring Boot 项目启动之后,在什么时候?在哪里可以将数据加载到缓存系...【详细内容】
2024-01-19  Search: Spring  点击:(86)  评论:(0)  加入收藏
Spring Boot2.0深度实践 核心原理拆解+源码分析
Spring Boot2.0深度实践:核心原理拆解与源码分析一、引言Spring Boot是一个基于Java的轻量级框架,它简化了Spring应用程序的创建过程,使得开发者能够快速搭建一个可运行的应用...【详细内容】
2024-01-15  Search: Spring  点击:(95)  评论:(0)  加入收藏
SpringBoot3+Vue3 开发高并发秒杀抢购系统
开发高并发秒杀抢购系统:使用SpringBoot3+Vue3的实践之旅随着互联网技术的发展,电商行业对秒杀抢购系统的需求越来越高。为了满足这种高并发、高流量的场景,我们决定使用Spring...【详细内容】
2024-01-14  Search: Spring  点击:(91)  评论:(0)  加入收藏
Spring Boot 3.0是什么?
Spring Boot 3.0是一款基于Java的开源框架,用于简化Spring应用程序的构建和开发过程。与之前的版本相比,Spring Boot 3.0在多个方面进行了改进和增强,使其更加易用、高效和灵活...【详细内容】
2024-01-11  Search: Spring  点击:(133)  评论:(0)  加入收藏
GraalVM与Spring Boot 3.0:加速应用性能的完美融合
在2023年,SpringBoot3.0的发布标志着Spring框架对GraalVM的全面支持,这一支持是对Spring技术栈的重要补充。GraalVM是一个高性能的多语言虚拟机,它提供了Ahead-of-Time(AOT)编...【详细内容】
2024-01-11  Search: Spring  点击:(124)  评论:(0)  加入收藏
Spring Boot虚拟线程的性能还不如Webflux?
早上看到一篇关于Spring Boot虚拟线程和Webflux性能对比的文章,觉得还不错。内容较长,抓重点给大家介绍一下这篇文章的核心内容,方便大家快速阅读。测试场景作者采用了一个尽可...【详细内容】
2024-01-10  Search: Spring  点击:(115)  评论:(0)  加入收藏
▌简易百科推荐
Web Components实践:如何搭建一个框架无关的AI组件库
一、让人又爱又恨的Web ComponentsWeb Components是一种用于构建可重用的Web元素的技术。它允许开发者创建自定义的HTML元素,这些元素可以在不同的Web应用程序中重复使用,并且...【详细内容】
2024-04-03  京东云开发者    Tags:Web Components   点击:(8)  评论:(0)  加入收藏
Kubernetes 集群 CPU 使用率只有 13% :这下大家该知道如何省钱了
作者 | THE STACK译者 | 刘雅梦策划 | Tina根据 CAST AI 对 4000 个 Kubernetes 集群的分析,Kubernetes 集群通常只使用 13% 的 CPU 和平均 20% 的内存,这表明存在严重的过度...【详细内容】
2024-03-08  InfoQ    Tags:Kubernetes   点击:(12)  评论:(0)  加入收藏
Spring Security:保障应用安全的利器
SpringSecurity作为一个功能强大的安全框架,为Java应用程序提供了全面的安全保障,包括认证、授权、防护和集成等方面。本文将介绍SpringSecurity在这些方面的特性和优势,以及它...【详细内容】
2024-02-27  风舞凋零叶    Tags:Spring Security   点击:(54)  评论:(0)  加入收藏
五大跨平台桌面应用开发框架:Electron、Tauri、Flutter等
一、什么是跨平台桌面应用开发框架跨平台桌面应用开发框架是一种工具或框架,它允许开发者使用一种统一的代码库或语言来创建能够在多个操作系统上运行的桌面应用程序。传统上...【详细内容】
2024-02-26  贝格前端工场    Tags:框架   点击:(47)  评论:(0)  加入收藏
Spring Security权限控制框架使用指南
在常用的后台管理系统中,通常都会有访问权限控制的需求,用于限制不同人员对于接口的访问能力,如果用户不具备指定的权限,则不能访问某些接口。本文将用 waynboot-mall 项目举例...【详细内容】
2024-02-19  程序员wayn  微信公众号  Tags:Spring   点击:(39)  评论:(0)  加入收藏
开发者的Kubernetes懒人指南
你可以将本文作为开发者快速了解 Kubernetes 的指南。从基础知识到更高级的主题,如 Helm Chart,以及所有这些如何影响你作为开发者。译自Kubernetes for Lazy Developers。作...【详细内容】
2024-02-01  云云众生s  微信公众号  Tags:Kubernetes   点击:(50)  评论:(0)  加入收藏
链世界:一种简单而有效的人类行为Agent模型强化学习框架
强化学习是一种机器学习的方法,它通过让智能体(Agent)与环境交互,从而学习如何选择最优的行动来最大化累积的奖励。强化学习在许多领域都有广泛的应用,例如游戏、机器人、自动驾...【详细内容】
2024-01-30  大噬元兽  微信公众号  Tags:框架   点击:(68)  评论:(0)  加入收藏
Spring实现Kafka重试Topic,真的太香了
概述Kafka的强大功能之一是每个分区都有一个Consumer的偏移值。该偏移值是消费者将读取的下一条消息的值。可以自动或手动增加该值。如果我们由于错误而无法处理消息并想重...【详细内容】
2024-01-26  HELLO程序员  微信公众号  Tags:Spring   点击:(86)  评论:(0)  加入收藏
SpringBoot如何实现缓存预热?
缓存预热是指在 Spring Boot 项目启动时,预先将数据加载到缓存系统(如 Redis)中的一种机制。那么问题来了,在 Spring Boot 项目启动之后,在什么时候?在哪里可以将数据加载到缓存系...【详细内容】
2024-01-19   Java中文社群  微信公众号  Tags:SpringBoot   点击:(86)  评论:(0)  加入收藏
花 15 分钟把 Express.js 搞明白,全栈没有那么难
Express 是老牌的 Node.js 框架,以简单和轻量著称,几行代码就可以启动一个 HTTP 服务器。市面上主流的 Node.js 框架,如 Egg.js、Nest.js 等都与 Express 息息相关。Express 框...【详细内容】
2024-01-16  程序员成功  微信公众号  Tags:Express.js   点击:(88)  评论:(0)  加入收藏
站内最新
站内热门
站内头条