1 为什么需要多数据源
在比较大型的项目中,数据库可能会分布在多台服务器上,例如有若干个数据库服务是专门存放日志数据的,又有若干个数据库服务是专门存放业务数据的等等....这时候应用程序如果需要对这两种类型的数据进行处理的话,就需要配置多数据源了。
本文将使用的Spring Boot的版本是2.1.1.RELEASE,其他的版本配置可能会略有不同,具体的建议参考Spring Boot官方文档,文档中有多数据源配置的相关介绍。并且本文仅针对JPA的多数据源配置,其他的ORM例如MyBaties不在本文的讨论范围。
2 项目结构
├── pom.xml
├── src
│ ├── main
│ │ ├── java
│ │ │ └── top
│ │ │ └── yeonon
│ │ │ └── multidatasource
│ │ │ ├── controller
│ │ │ │ └── HelloController.java
│ │ │ ├── dbconfig
│ │ │ │ ├── DataSourceConfig.java
│ │ │ │ ├── DockerDatasourceConfig.java
│ │ │ │ └── LocalDataSourceConfig.java
│ │ │ ├── entity
│ │ │ │ ├── docker
│ │ │ │ │ └── User.java
│ │ │ │ └── local
│ │ │ │ └── Course.java
│ │ │ ├── MultiDatasourceApplication.java
│ │ │ └── repository
│ │ │ ├── docker
│ │ │ │ └── UserRepository.java
│ │ │ └── local
│ │ │ └── CourseRepository.java
│ │ └── resources
│ │ ├── application.properties
│ │ ├── static
│ │ └── templates
上面是项目的包结构,和单一数据源的最大区别就是在entity包和repository包中细分了不同的数据源,例如我这里的是local以及docker,这样区分的好处后面会看到。其他的就没什么了,真有需要注意的地方,会穿插的介绍。
3 数据源的配置
首先是DataSourceConfig类,该类是一个配置类(有@Configuration注解的类),我们在这里配置数据源DataSource:
@Configuration
public class DataSourceConfig {
@Bean(name = "localDatasource")
@Qualifier(value = "localDatasource")
@ConfigurationProperties(prefix = "spring.datasource.local")
@Primary
public DataSource localDatasource() {
return DataSourceBuilder.create().build();
}
@Bean(name = "dockerDatasource")
@Qualifier(value = "dockerDatasource")
@ConfigurationProperties(prefix = "spring.datasource.docker")
public DataSource dockerDatasource() {
return DataSourceBuilder.create().build();
}
}
- @Bean注解就表示该方法是用来配置Bean的,name属性指示了该Bean的名字。
- @Qualifier,因为我们这里为DataSource这个类型配置了两个Bean,如果不做特殊处理,Spring在对Bean进行自动注入的时候,将无法知道使用哪个Bean,好的情况是直接报错,令人郁闷的情况是Spring不保错,但是仅仅有一个Bean生效,即另一个被覆盖了,这种情况下的BUG排查是非常麻烦的。
- @ConfigurationProperties,该注解是为该Bean配置一个与之对应的属性,prefix即前缀,所以在配置local数据源的时候,我们可以这样配置:spring.datasource.local.dirver-class-name:XXX(其他的同理)。
- @Primary,用来标识主库,这个注解是必须的,但是也只能有一个。各位可以自行尝试一下不加或者多加会出现什么错误,加深理解。
重要的就是这几个注解了,DataSource实例就直接用DataSourceBuilder来创建就行了,如果你有自己定制好的DataSource实例也可以不用DataSourceBuilder来创建。
光配置数据源的Bean还没完,在单数据源的情况下,Spring Boot会通过自动配置将数据源DataSource(Spring Boot也会自动的完成对数据源Bean的配置),然后将其注入到LocalContainerEntityManagerFactoryBean实体类工厂以及PlatformTransactionManager事务管理对象里,以此完成对JPA的自动配置。但在多数据源的情况下,Spring Boot自动配置还不能帮我们完成这样的注入,所以需要我们手动配置LocalContainerEntityManagerFactoryBean以及PlatformTransactionManager。下面来看代码:
@Configuration
//开启事务管理
@EnableTransactionManagement
//开启JpaRepositories
@EnableJpaRepositories(
//在这个JpaRepositories中用到的事务管理器,这里是Ref,即引用
transactionManagerRef = "localTransactionManager",
//实体类工厂
entityManagerFactoryRef = "localEntityManagerFactory",
//JpaRepositories所在的包名,这也是为什么我们要细分包名的原因
basePackages = "top.yeonon.multidatasource.repository.local"
)
public class LocalDataSourceConfig {
//这里必须要要加 @Qualifier(value = "localDatasource")注解
//否则Spring将不会知道用哪个Bean
@Autowired
@Qualifier(value = "localDatasource")
private DataSource localDatasource;
//JpaProperties,Spring自动配置会自动加载该Bean
@Autowired
private JpaProperties jpaProperties;
//配置实体类工厂
@Bean(name = "localEntityManagerFactory")
//在数据源的配置中,我们将Local配置成了主库,所以必须在这里有@Primary注解
@Primary
public LocalContainerEntityManagerFactoryBean localEntityManagerFactory(EntityManagerFactoryBuilder builder) {
//创建一个工厂
return builder
.dataSource(localDatasource) //数据源实例,在这里指的就是localDatasource这个实例
.properties(jpaProperties.getProperties()) //加Jpa的属性配置加入进来
.packages("top.yeonon.multidatasource.entity.local") //实体类包名
.persistenceUnit("localPersistenceUnit")
.build();
}
@Bean(name = "localTransactionManager")
//和上面一样,必须要有该注解
@Primary
public PlatformTransactionManager localTransactionManager(EntityManagerFactoryBuilder builder) {
return new JpaTransactionManager(localEntityManagerFactory(builder).getObject());
}
}
这样就完成了LocalDatasource的配置,下面直接来看docker数据源的配置吧,和LocalDataSourceConfig非常类似,就不多说了,关键是注意名称:
@Configuration
@EnableTransactionManagement
@EnableJpaRepositories(
transactionManagerRef = "dockerTransactionManager",
entityManagerFactoryRef = "dockerEntityManagerFactory",
basePackages = {"top.yeonon.multidatasource.repository.docker"}
)
public class DockerDatasourceConfig {
@Autowired
@Qualifier(value = "dockerDatasource")
private DataSource dockerDatasource;
@Autowired
private JpaProperties jpaProperties;
@Bean(name = "dockerEntityManagerFactory")
public LocalContainerEntityManagerFactoryBean dockerEntityManagerFactory(EntityManagerFactoryBuilder builder) {
return builder
.dataSource(dockerDatasource)
.properties(jpaProperties.getProperties())
.packages("top.yeonon.multidatasource.entity.docker")
.persistenceUnit("dockerPersistenceUnit")
.build();
}
@Bean
public PlatformTransactionManager dockerTransactionManager(EntityManagerFactoryBuilder builder) {
return new JpaTransactionManager(dockerEntityManagerFactory(builder).getObject());
}
}
除了名称不同之外,还有就是这里不需要也不应该加入@Primary注解。配置完了吗?其实还没有,别忘了在属性配置文件中配置url,username等...下面是一个示例:
spring.datasource.local.jdbc-url=jdbc:mysql://localhost:3306/test?useSSL=false
spring.datasource.local.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.local.username=root
spring.datasource.local.password=124563
spring.datasource.docker.jdbc-url=jdbc:mysql://XXX.XXX.XXX.XXX:4306/test?useSSL=false
spring.datasource.docker.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.docker.username=root
spring.datasource.docker.password=124563
spring.jpa.hibernate.ddl-auto=none
发现了吗?这里url配置和以往不太一样,以前仅仅是url即可,现在需要使用的属性名字是jdbc-url,这是新版的Spring Boot修改的,大家可以尝试一下沿用原来的url,看看错误堆栈,加深理解。
至此,就算是完成配置了,下面是一个简单的测试:
@RestController
@RequestMapping("/hello")
public class HelloController {
@Autowired
private UserRepository userRepository;
@Autowired
private CourseRepository courseRepository;
@GetMapping("user")
public User user(Long id) {
return userRepository.findById(id).orElse(null);
}
@GetMapping("course")
public Course course(Long id) {
return courseRepository.findById(id).orElse(null);
}
}
运行后,往数据库里加点测试数据,访问这里配置的路径,应该就能得到期望的结果了。
终于完成了,其实这个多数据源的配置说难也不难,但也不简单,关键在于要“细心”!!!实体类工厂的Bean以及事务管理器的Bean的名字不要写错,还有就是自动注入以及配置DataSource时候一定要有@Qualifier注解!!!而且@Primary也一定要有,不要多配,也不可少配。
4 小结
最后,总结一下整个配置的流程:
- 先配置数据源DataSouce的Bean,因为要为DataSouce这个类型配置多个Bean,所以要有@Qualifier注解来标识定位具体是哪个Bean。还要有属性配置@ConfigurationProperties,否则无法读取属性,就只能在代码中配置url,username等属性了。
- 之后为多个不同的数据源配置transactionManager以及entityManagerFactory,核心是将数据源注入到这两个玩意儿内部,然后生成与特定数据源配套的transactionManager和entityManagerFactory。也还要注意在主库的配置中加上@Primary注解。
- 在属性配置文件中进行属性配置即可。