dynamic-datasource 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
dynamic-datasource 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: Apache
开发语言: Java
操作系统: 跨平台
收录时间: 2018-05-02
提 交 者: 小锅盖

一个基于springboot的快速集成多数据源的启动器

简介

dynamic-datasource-spring-boot-starter 是一个基于springboot的快速集成多数据源的启动器。

其支持 Jdk 1.7+, SpringBoot 1.4.x 1.5.x 2.0.x

从 2.0.0 开始它适用于多种场景,常见的场景如下。

  • 纯粹多库,各个库甚至可以是不同的数据库。

  • 读写分离,一主多从,多主多从。

  • 混合模式,既有主从也有单库。

本框架只做 切换数据源 这件核心的事情,并不限制您的具体操作。

强烈建议在 主从模式 下遵循普遍的规则,以便他人能更轻易理解您的代码。

主数据库 建议 只执行 INSERT UPDATE DELETE 操作。

从数据库 建议 只执行 SELECT 操作。

另外如果您的项目比较复杂,强烈建议您使用 sharding-jdbc 

使用方法

  1. 引入dynamic-datasource-spring-boot-starter。

com.baomidoudynamic-datasource-spring-boot-starter${version}
  1. 配置数据源。

从 2.0.0 开始所有数据源的 配置同级 ,不再有默认的主从限制,您可以给您的数据源起任何合适的名字。

约定大于配置

  • 所有以下划线 _ 分割的数据源 首部 即为组的名称,相同组名称的数据源会放在一个组下。

  • 默认的数据源名称为 master ,您可以通过spring.datasource.dynamic.primary来修改。

下面给出最常见的几种配置方案:

  • 一主多从方案:

spring:
  datasource:
    dynamic:
      primary: master #设置默认的数据源或者数据源组,默认值即为master,如果你主从默认下主库的名称就是master可不定义此项。
      datasource:
        master:
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
          url: jdbc:mysql://47.100.20.186:3306/dynamic?characterEncoding=utf8&useSSL=false
        slave_1:
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
          url: jdbc:mysql://47.100.20.186:3307/dynamic?characterEncoding=utf8&useSSL=false
        slave_2:
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
          url: jdbc:mysql://47.100.20.186:3308/dynamic?characterEncoding=utf8&useSSL=false
       #......省略
       #以上会配置一个默认库master,一个组slave下有两个子库slave_1,slave_2
  • 多主多从方案:(谨慎使用,您清楚的知道多个主库间需要自己做同步)

spring:
  datasource:
    dynamic:
      datasource:
        master_1:
        master_2:
        slave_1:
        slave_2:
        slave_3:
  • 纯粹多库方案:

spring:
  datasource:
    dynamic:
      primary: mysql #记得设置一个默认数据源
      datasource:
        mysql:
        oracle:
        sqlserver: 
        h2:
  • 混合方案:

spring:
  datasource:
    dynamic:
      datasource:
        master:
        slave_1:
        slave_2: 
        oracle_1:
        oracle_2:
        sqlserver:
  1. 使用 @DS 切换数据源。

@DS 可以注解在方法上和类上,同时存在方法注解优先于类上注解,强烈建议注解在service实现或mapper接口方法上。

注意从2.0.0 不再支持@DS空注解 ,您 必须 指明你所需要的数据库 组名 或者 具体某个数据库名称 。

注解结果
没有@DS默认数据源
@DS("dsName")dsName可以为组名也可以为具体某个库的名称
@Service
@DS("slave")
public class UserServiceImpl implements UserService {

  @Autowired
  private JdbcTemplate jdbcTemplate;

  public List> selectAll() {
    return  jdbcTemplate.queryForList("select * from user");
  }
  
  @Override
  @DS("slave_1")
  public List> selectByCondition() {
    return  jdbcTemplate.queryForList("select * from user where age >10");
  }

}

在mybatis环境下也可注解在mapper接口层。

@DS("slave")
public interface UserMapper {

  @Insert("INSERT INTO user (name,age) values (#{name},#{age})")
  boolean addUser(@Param("name") String name, @Param("age") Integer age);

  @Update("UPDATE user set name=#{name}, age=#{age} where id =#{id}")
  boolean updateUser(@Param("id") Integer id, @Param("name") String name, @Param("age") Integer age);

  @Delete("DELETE from user where id =#{id}")
  boolean deleteUser(@Param("id") Integer id);

  @Select("SELECT * FROM user")
  @DS("slave_1")
  ListselectAll();

}

集成druid

springBoot2.x默认使用HikariCP,但在国内Druid的使用者非常庞大,此项目特地对其进行了适配,完成多数据源下使用Druid进行监控。

注意:主从可以使用不同的数据库连接池,如master使用Druid监控,从库使用HikariCP。 如果不配置连接池type类型,默认是Druid优先于HikariCP。

  1. 项目引入druid-spring-boot-starter依赖。

com.alibabadruid-spring-boot-starter1.1.10
  1. 排除 原生Druid的快速配置类。

@SpringBootApplication(exclude = DruidDataSourceAutoConfigure.class)
public class Application {

  public static void main(String[] args) {
    SpringApplication.run(Application.class, args);
  }

}

为什么要排除DruidDataSourceAutoConfigure ?

DruidDataSourceAutoConfigure会注入一个DataSourceWrapper,其会在原生的spring.datasource下找url,username,password等。而我们动态数据源的配置路径是变化的。

  1. 其他属性依旧如原生druid-spring-boot-starter的配置。

spring:
  datasource:
    druid:
      stat-view-servlet:
        loginUsername: admin
        loginPassword: 123456
    dynamic:
      datasource:
        master:
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
          url: jdbc:mysql://47.100.20.186:3306/dynamic?characterEncoding=utf8&useSSL=false
          druid: #以下均为默认值
            initial-size: 3
            max-active: 8
            min-idle: 2
            max-wait: -1
            min-evictable-idle-time-millis: 30000
            max-evictable-idle-time-millis: 30000
            time-between-eviction-runs-millis: 0
            validation-query: select 1
            validation-query-timeout: -1
            test-on-borrow: false
            test-on-return: false
            test-while-idle: true
            pool-prepared-statements: true
            max-open-prepared-statements: 100
            filters: stat,wall
            share-prepared-statements: true

如上即可配置访问用户和密码,访问 http://localhost:8080/druid/index.html 查看druid监控。

自定义

  1. 自定义数据源来源。

数据源来源的默认实现是YmlDynamicDataSourceProvider,其从yaml或properties中读取信息并解析出所有数据源信息。

public interface DynamicDataSourceProvider {

    /**
     * 加载所有数据源
     *
     * @return 所有数据源,key为数据源名称
     */
    MaploadDataSources();

}
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

dynamic-datasource 的相关博客

Spring Boot--自定义Starter之spring-boot-starter-quartz

痛点 在Spring中使用计划任务,有两种方案可供选择:一、用Spring原生的计划任务,使用起来非常简单,只需要用到@Scheduled注...

spring-boot-starter-web与spring-boot-starter-webflux区别

目录 区别 区别 对于servlet堆栈应用程序,spring-boot-starter-web通过包含spring-boot-starter-tomcat来包括Tomcat,但是可...

[Spring Boot] 自定义 Spring Boot Starter

[Spring Boot] 自定义 Spring Boot Starter 简介 在了解了Spring Boot的自动装配原理后,我们来实现一个Spring Boot常见的Sta...

spring boot starter

spring boot stater: 原生spring boot系统包含了很多默认的starter。例如rabbit,jdbc等等。 都在spring-boot-autoconfigure...

Spring Boot:自定义starter

来源:阿杜的世界 号外:最近整理了一下以前编写的一系列Spring Boot内容,整了个《Spring Boot基础教程》的PDF,关注我,回复...

Spring Boot Starter列表

转自:http://blog.sina.com.cn/s/blog_798f713f0102wiy5.html Spring Boot Starter 基本的一共有43种,具体如下: 1)sprin...

spring boot starter是什么

参考自:https://www.cnblogs.com/EasonJim/p/7615801.html Spring Boot中Starter是什么 比如我们要在Spring Boot中引入Web M...

Spring Boot (一): Spring Boot starter自定义

前些日子在公司接触了spring boot和spring cloud,有感于其大大简化了spring的配置过程,十分方便使用者快速构建项目,而且拥有...

自定义 spring-boot-starter

自定义 spring-boot-starter springboot规定一般官网的包名为 spring-boot-start-xxx (spring-boot-start-web) 个人或者第三方...

spring-boot-starter-parent

一、你的项目 pom.xml 中有这段代码吗 <parent>     <groupId>org.springframework.boot</groupId>     <artifactId...

评论 (15)

加载中
用DS注解查询oracle分页的时候,jpa的分页方法没办法指定dialect,导致用的limit查询....
06/17 23:28
回复
举报
jdbctemplate多数据源如果想支持事务 除了使用分布式事务框架外还有别的办法吗
05/27 12:01
回复
举报
配置也太难了 没一次成功的
2019/11/08 09:58
回复
举报
优势 网上关于动态数据源的切换的文档有很多,核心只有两种。 构建多套环境,优势是方便控制也容易集成一些简单的分布式事务,缺点是非动态同时代码量较多,配置难度大。 基于spring提供原生的 AbstractRoutingDataSource ,参考一些文档自己实现切换。 如果你的数据源较少,场景不复杂,选择以上任意一种都可以。如果你需要更多特性,请尝试本动态数据源。 数据源分组,适用于多种场景 纯粹多库 读写分离 一主多从 混合模式。 简单集成Druid数据源监控多数据源,简单集成Mybatis-Plus简化单表,简单集成P6sy格式化sql,简单集成Jndi数据源。 简化Druid和HikariCp配置,提供全局参数配置。 提供自定义数据源来源(默认使用yml或properties配置)。 项目启动后能动态增减数据源。 使用spel动态参数解析数据源,如从session,header和参数中获取数据源。(多租户架构神器) 多层数据源嵌套切换。(一个业务ServiceA调用ServiceB,ServiceB调用ServiceC,每个Service都是不同的数据源) 使用正则匹配或spel表达式来切换数据源(实验性功能)。 劣势 不能使用多数据源事务(同一个数据源下能使用事务),网上其他方案也都不能提供。 如果你需要使用到分布式事务,那么你的架构应该到了微服务化的时候了。 如果呼声强烈,项目达到800 star,作者考虑集成分布式事务。 PS: 如果您只是几个数据库但是有强烈的需求分布式事务,建议还是使用传统方式自己构建多套环境集成atomic这类,网上百度很多。 来自己: https://www.cnblogs.com/SimpleWu/p/10930388.html
2019/08/31 16:37
回复
举报

引用来自“小锅盖”的评论

自评。。。
初始共加载 3 个数据源 动态数据源-加载 slave_2 成功 动态数据源-加载 master 成功 动态数据源-加载 slave_1 成功 当前的默认数据源是单数据源,数据源名为 master 从默认数据源中返回数据 提问: 为什么默认数据源是单数据源 ?? 我配了三个数据源了呀
2019/04/09 09:12
回复
举报

引用来自“坐拥三千佳丽”的评论

日志显示是这样的: 初始共加载 3 个数据源 动态数据源-加载 slave_2 成功 动态数据源-加载 master 成功 动态数据源-加载 slave_1 成功 当前的默认数据源是单数据源,数据源名为 master 从默认数据源中返回数据 提问: 为什么默认数据源是单数据源 ?? 我配了三个数据源了呀

引用来自“fkfgq2008”的评论

你的问题解决了么?我的也是直走默认数据源
请问你解决了吗?遇到和你一样的情况
2019/04/09 09:12
回复
举报
server层注入好用,mapper注入有时候不太好用,final方法也不能用 @DS
01/19 17:47
回复
举报

引用来自“坐拥三千佳丽”的评论

日志显示是这样的: 初始共加载 3 个数据源 动态数据源-加载 slave_2 成功 动态数据源-加载 master 成功 动态数据源-加载 slave_1 成功 当前的默认数据源是单数据源,数据源名为 master 从默认数据源中返回数据 提问: 为什么默认数据源是单数据源 ?? 我配了三个数据源了呀
你的问题解决了么?我的也是直走默认数据源
2019/03/19 21:19
回复
举报
同问,请问是否支持多数据源之间的事务呀?现在急需这个
2019/01/15 09:43
回复
举报
我注解定义 @DS("slave") 或者是 @DS("master") 但是返回的数据 一直是master里面的数据
2019/01/09 00:08
回复
举报
日志显示是这样的: 初始共加载 3 个数据源 动态数据源-加载 slave_2 成功 动态数据源-加载 master 成功 动态数据源-加载 slave_1 成功 当前的默认数据源是单数据源,数据源名为 master 从默认数据源中返回数据 提问: 为什么默认数据源是单数据源 ?? 我配了三个数据源了呀
2019/01/09 00:06
回复
举报
更多评论
15 评论
124 收藏
分享
返回顶部
顶部