一次tddl-sequence问题的排查

背景

在测试环境,有个同事发现了一个ID插入的时候报了主键冲突。这是一件很奇怪的事情,在大家的理解中,使用了Sequence功能,每个节点的内存拿的ID段应该都是不同的,不可能会出现这个问题。不然这又要颠覆认知了~

思考

  • 是否有人手动插入了一条数据,然后出入的时候手动设置了ID呢?
  • 是否有人手动调整了Sequencevalue呢?
  • 为什么数据库还存在了ID相同,但在不同表的数据呢?是不是多线程写的有毛病啊?

初步排查

  • 确认没有人手动插入ID,都是用程序获取的方式;
  • 那有时间与精力去手动设置Sequencevalue啊,确实谁去没事儿管这个;
  • 数据ID相同数据在不同表,明显是2台不同的项目Node导致的。

总结:确定问题出现了2台机器获取的Sequencevalue范围冲突了。

问题表现出来的确实如此,难道真的要颠覆我们的认知吗?因为问题算比较严重,所以非常的重视。一定要找到问题的原因所在!

具体排查

此时,我们发现代码有一处调整过,就是配置TDDLSequenceinnerStep(内部步长),由原来的1000调整为5000。为什么调整大了,是因为在数据迁移的时候,数据量很大,减少由于ID扩容对数据库操作的时间(其实在这里,可以看出这位开发同学已经非常优秀了,其他地方也一定会非常的注意性能的设计)。

这里我的认知也是,就算我修改内部步长跟其他人不一样,也不会影响Sequence冲突的问题啊,这个Sequence应该会自己保证。不知道大家是不是跟我的想法也一样?

抱着半怀疑SequenceBug问题与一定要解决掉问题的思绪,大家来开始撸源代码了。这才是解决问题的王道~

这里参考的版本是:tddl-sequence-3.2.jar,用的是GroupSequence

找出问题的根源点

第一步会撸nextValue()方法,下面贴一下核心代码。

newValue = oldValue + outStep; // 新的值就是数据库中老的值 + 外部步长的求和

int affectedRows = stmt.executeUpdate();// 把新的值再更新到数据库中去

return new SequenceRange(newValue + 1, newValue + innerStep);// 该结点的范围就是[newValue + 1, newValue + innerStep]

在这里就初步判断,这里有大坑。如果2个项目的内部步长不一致,范围就会存在交集,问题确实是这个问题导致的,但是这不符合常理,为什么设计者要这么设计?此时的心情就是必须要tddl-sequence撸清楚。

下面把看源码时候不太理解的部分解答清楚。�

内部步长与外部步长的关系

outStep = innerStep * dscount; // 外部步长 = 内部步长 * sequence所在的数据源个数

这应该算是tddl-sequence里面的一个约定了吧,outStep算是每次修改的sequence里value的步长或者说单元。

一般大家的dscount配置的是1,也就是00库。

步长有调整怎么办?

private boolean check(int index, long value) {
    return (value % outStep) == (index * innerStep); // 这里不相等,就意味着outStep有调整过
}
// 如果说我们只有一个dscount,这里的index=0,理论上value就要是outStep的整数倍

adjust = true; // 这里儿我们要配置为true,当发现调整了步长,就会自动调节sequence表了
// 具体如何调整的
newValue = (newValue - newValue % outStep) + outStep + index * innerStep; 
// newValue - newValue % outStep 就是把数据缩减到最近一个可以整除outStep的值,然后再加上一个outStep。

回顾问题

回顾到事情上来,具体例子说明:

用我们组的小伙伴画的神图

http://static.cyblogs.com/7ba2efab-2797-4bda-a62c-21a3a3d6b4eb.jpg

解释一下,2个不同的应用一个步长是5000,一个步长是1000。步长大的会覆盖步长小的节点;

数据库的value=1000时候;

projectAoutStep=5000拿到的范围是:[6000, 11000],先获取sequence

projectBoutStep=1000拿到的范围是:[7000, 8000],后获取sequence

那如果步长大的节点先插入了数据并且使用了步长小的节点还未使用的ID值,那后面步长小的结点过来插入的时候就报主键冲突了。

疑问点?

为什么数据库的值是1000,步长是5000的时候。获取的范围是[6000,11000]呢?浪费了5000啊。

这个问题就是由于步长调整导致的,因为sequence要让数据库的值是outStep的整数倍。
如果大家喜欢我的文章,可以关注个人订阅号。欢迎随时留言、交流。


简栈文化服务订阅号
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容

  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,169评论 0 9
  • 一. Java基础部分.................................................
    wy_sure阅读 3,788评论 0 11
  • [TOC] 背景 随着数据量和访问量的不断增长,原有的单个数据库的数据存储需要拆分为多个数据库来进行数据的存储,目...
    bigfish1129阅读 2,773评论 0 2
  • 分库分表的基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从...
    jackcooper阅读 39,605评论 7 168
  • http://www.jianshu.com/p/32b3e91aa22c?from=timeline 分库分表的...
    许你一枝花阅读 1,279评论 0 2