动态数据源配置事务失效原因

概述:

记录一次线上事务失效的原因

背景

由于业务需要,线上需要配置分库分表,所以需要引入多个数据源,其中方案是做历史数据的归档,热库数据只保留一定的天数,历史数据需要从归档库查询,所以老的热库数据源需要保留同时引入新的Sharding-jdbc归档数据源,多个数据源存在事务必须保证可用性,在事务管理器DataSourceTransactionManager需要设置数据源,来保证获取数据库连接Connection,在同一个connection中才能保证事务是存在的。因为做的是历史数据的归档,所以只需要保证热库的数据事务即可(错误的概念),正是因为这个观念造成了线上事务管理器全部不生效。

猜想

事务发现不生效几个猜想 1.Connection不是同一个 2.异常被吞并 3.有多线程切换?

使用姿势

Spring数据源错误配置(简化版本):

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">


    <import resource="classpath*:spring/datasource/order-datasource-x1.xml"/>
    <import resource="classpath*:spring/datasource/order-datasource-x2.xml"/>
    <!-- 动态数据源配置-->
    <bean id="dynamicDataSource" class="com.xxx.datasource.OrderDynamicDataSource">
        <property name="targetDataSources">
            <map key-type="java.lang.String">
                <!-- 指定lookupKey和与之对应的数据源,切换时使用的为key -->
                <entry key="hotOrderDataSource" value-ref="hotDataSource"></entry>
                <entry key="archiveDataSource" value-ref="archiveDataSource"></entry>
            </map>
        </property>
        <!-- 这里可以指定默认的数据源 -->
        <property name="defaultTargetDataSource" ref="hotDataSource" />
    </bean>

    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="dynamicDataSource"/>
        <property name="mapperLocations" value="classpath*:sqlMap/**/*.xml"/>
        <property name="configLocation" value="classpath:mybatis/mybatis.xml"/>
    </bean>

    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <property name="basePackage" value="com.xxx.order.dao"/>
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
    </bean>

    <!-- 实时热库 事务管理器 -->
    <bean id="transactionManager"
          class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <property name="dataSource" ref="hotDataSource"/>
    </bean>

    <tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"    />

</beans>

编程式事务使用

importBaseSpringJDBCTest;
import org.junit.Test;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import org.springframework.transaction.TransactionDefinition;
import org.springframework.transaction.TransactionStatus;
import org.springframework.transaction.support.DefaultTransactionDefinition;
import org.springframework.transaction.support.TransactionCallback;
import org.springframework.transaction.support.TransactionTemplate;

import javax.annotation.Resource;
public class TransactionTest extends BaseSpringJDBCTest {

    @Resource
    private DataSourceTransactionManager transactionManager;

    @Test
    public void transactionTest() {
        DefaultTransactionDefinition def = new DefaultTransactionDefinition();
        def.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED);
        TransactionStatus status = transactionManager.getTransaction(def);

        int i = 1;
        try {
            //执行本地操作
            xxxxx
            if (i == 1) {
                throw new NullPointerException();
            }

            //提交事务
            transactionManager.commit(status);
        } catch (Throwable e) {
            transactionManager.rollback(status);
            throw e;
        }
    }


}

从上面的配置中,我们可以清晰的看到在事务管理器DataSourceTransactionManager中我们配置了热库的数据源

    <bean id="transactionManager"
          class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <property name="dataSource" ref="hotDataSource"/>
    </bean>

Mybatis中SqlSessionFactoryBean配置的数据源为Spring动态数据源

    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="dynamicDataSource"/>
        <property name="mapperLocations" value="classpath*:sqlMap/**/*.xml"/>
        <property name="configLocation" value="classpath:mybatis/mybatis.xml"/>
    </bean>

问题就在于我们配置的事务管理器数据源与Mybatis SqlSessionFactoryBean不是同一个数据源,导致的事务不成效,为什么我只需要热库都是数据源,来为我的事务管理器提供事务链接,就不可以,具体原因我们详细分析。

回顾下事务的流程

先简单的说事务,事务简而言之就是为了保证,在一系列数据库操作中,能够同时成功或者同时失败,毕竟原子性要保证的。首先回到JDBC链接数据库的时代。

JDBC连接DB事务操作

Connection con =null;
Statement st=null;
ResultSet rs=null;
PreparedStatement ps=null;
public void startTransaction(){
    con = DBCManager.getConnect();//获取连接对象
    try {
        //设置事务的提交方式为非自动提交:
        con.setAutoCommit(false);
          String sql ="delete from user where id = 10";
         String sql1 = "update user set name ='liu' where id =1";
        //分别执行事务
        ps = con.prepareStatement(sql);
        ps.executeUpdate();
        ps = con.prepareStatement(sql1);
        ps.executeUpdate();
        //在try块内添加事务的提交操作,表示操作无异常,提交事务。
        con.commit();
    } catch (SQLException e) {
        try {
          //在catch块内添加回滚事务,表示操作出现异常,撤销事务:
          con.rollback();
        } catch (SQLException e1) {
          e1.printStackTrace();
        }
        e.printStackTrace();
    }finally{
        try {
            //设置事务提交方式为自动提交:
            con.setAutoCommit(true);
        } catch (SQLException e) {
            e.printStackTrace();
        }
        DBCManager.release(rs, ps, con);
    }
}

首先,设置事务的提交方式为非自动提交:
conn.setAutoCommit(false);接下来,将需要添加事务的代码放入try catch块中。
然后,在try块内添加事务的提交操作,表示操作无异常,提交事务。conn.commit();
尤其不要忘记,在catch块内添加回滚事务,表示操作出现异常,撤销事务:conn.rollback();
最后,设置事务提交方式为自动提交:conn.setAutoCommit(true);

事务操作简单概述就是,我们保证在一个Connection下开启事务,就能保证我们我们一批数据的完整性,只要我们的事务操作中在当前线程中不切换链接就能保证事务是存在的。说到这里可能就有疑问,不考虑多线程切换的情况下,我们的事务操作经过Spring封装DataSourceTransactionManager中只要开启了事务,事务内就不会进行切换链接,原因就是在ConnectionHolder中暂且保存了我们的链接。下次在进行数据操作,直接从ConnectionHolder中获取链接,操作就保证了链接是同一个。

验证

源码之下即真理。

Spring事务管理

首先我们看事务管理器获取Connection,在DataSourceTransactionManager#doGetTransaction中首先获取ConnectionHolder放置在DataSourceTransactionManager.DataSourceTransactionObject中,我们注意到是从TransactionSynchronizationManager.getResource(this.dataSource)通过我们注入的数据源获取holder

image.png

第一步我们编程事务,获取事务的状态TransactionStatus,TransactionStatus接口具体作用我们可以通过接口一览。
TransactionStatus用于保存当前事物状态,比如是否只能回滚、是否包含回滚点、是否只读,其实现类内部包含事物操作对象transaction
事物操作对象transaction包含不同的实现,比如JDBC的DataSourceTransactionObject、Hibernate的HibernateTransactionObject等。

public interface TransactionStatus extends SavepointManager, Flushable {

    //是否是一个新的事物
    boolean isNewTransaction();

    //判断是否有回滚点
    boolean hasSavepoint();

    //将一个事务标识为不可提交的。在调用完setRollbackOnly()后只能被回滚
    //在大多数情况下,事务管理器会检测到这一点,在它发现事务要提交时会立刻结束事务。
    //调用完setRollbackOnly()后,数数据库可以继续执行select,但不允许执行update语句,因为事务只可以进行读取操作,任何修改都不会被提交。
    void setRollbackOnly();
    boolean isRollbackOnly();

    @Override
    void flush();
    //判断事物是否已经完成
    boolean isCompleted();
}

接下来我们获取事务,我们通过数据源得到一个ConnectionHolder保存在事务管理器中,获取ConnectionHolder,是通过TransactionSynchronizationManager.getResource获取,这个方法非常重要。


image.png
image.png

我们看方法都可以猜到,第一次获取链接肯定不存在的,毕竟我们还没有进行存储。接下来操作肯定是要得到一个连接,从哪里得到,当然是通过我们注入的dataSource得到链接。


image.png

image.png

核心code:TransactionSynchronizationManager.bindResource(this.getDataSource(), txObject.getConnectionHolder());
我们注意到ConnectionHolder进行了存储,存储的key是获取的dataSource(),此时的dataSource为我们注入的热库datasource。

image.png
image.png

可以清晰的看到存储在ThreadLoacl与线程绑定。


image.png

最后初始化我们的事务参数,整个事务开启完成,返回我们的TransactionStatus 供事务管理使用。到此事务初始化已经完成。接下来我们看下Mybatis得到链接过程。

Mybatis 链接获取

首先我们进入Mybatis代理,找到我们最关心的事务管理器和最核心的Mybatis是如何获取链接的。

image.png

进入执行方法,寻找事务管理器;

image.png

image.png

事务管理器为org.mybatis.spring.transaction.SpringManagedTransaction,通过包名我们可以清晰的知道,Mybatis整合Spring需要的事务管理器,最终交给Spring处理事务,Spring管理事务,那必须通过事务管理器获取链接。


image.png
    public static Connection doGetConnection(DataSource dataSource) throws SQLException {
        Assert.notNull(dataSource, "No DataSource specified");

         ConnectionHolder conHolder = (ConnectionHolder) TransactionSynchronizationManager.getResource(dataSource); 
        if (conHolder != null && (conHolder.hasConnection() || conHolder.isSynchronizedWithTransaction())) {
            conHolder.requested();
            if (!conHolder.hasConnection()) {
                logger.debug("Fetching resumed JDBC Connection from DataSource");
                conHolder.setConnection(dataSource.getConnection());
            }
            return conHolder.getConnection();
        }
        // Else we either got no holder or an empty thread-bound holder here.

        logger.debug("Fetching JDBC Connection from DataSource");
        Connection con = dataSource.getConnection();

        if (TransactionSynchronizationManager.isSynchronizationActive()) {
            logger.debug("Registering transaction synchronization for JDBC Connection");
            // Use same Connection for further JDBC actions within the transaction.
            // Thread-bound object will get removed by synchronization at transaction completion.
            ConnectionHolder holderToUse = conHolder;
            if (holderToUse == null) {
                holderToUse = new ConnectionHolder(con);
            }
            else {
                holderToUse.setConnection(con);
            }
            holderToUse.requested();
            TransactionSynchronizationManager.registerSynchronization(
                    new ConnectionSynchronization(holderToUse, dataSource));
            holderToUse.setSynchronizedWithTransaction(true);
            if (holderToUse != conHolder) {
                TransactionSynchronizationManager.bindResource(dataSource, holderToUse);
            }
        }

        return con;
    }

在获取链接的过程中
找到这里我们看到了一段熟悉的代码ConnectionHolder conHolder = (ConnectionHolder) TransactionSynchronizationManager.getResource(dataSource); 通过数据源获取链接,此时的数据源为我们注入的Spring动态数据源,所以链接是一个新的链接,新的链接默认提交方式为自动提交事务。所以真相大白,就是因为们数据源设置不匹配导致,两次的链接不同,导致了Spring管理的事务失效。

整个流程核心点:

Sping开启事务,将链接与线程绑定,放入TransactionSynchronizationManager,key为数据源,value为链接的包装
TransactionSynchronizationManager.bindResource(this.getDataSource(), txObject.getConnectionHolder());
Mybatis通过配置的数据源获取链接的包装
ConnectionHolder conHolder = (ConnectionHolder) TransactionSynchronizationManager.getResource(dataSource);

通过以上分析,大概了解了事务的处理流程,我们出错的原因,就在于不了解事务,以为了事务是随着我们设置数据源匹配的,所以还是了解技术,才能正确的使用技术。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容