今天需要处理一个很诡异的BUG,那就是做一个库存表数据整表更新时,报出了duplicate index异常。。。
给我的第一感觉就是很奇葩,毕竟只是个批量update,又不是insert,为什么会报duplicate key。我又看了一遍代码,确认代码逻辑是没问题的,确认是表里记录有冲突,但是既然有唯一索引,又怎么会可能出现冲突 ? 又看了下表结构,确实是有唯一索引的,一个unique index btree没错啊!!!没办法,马上拿索引冲突的‘xxxx'数据去找,结果居然只搜出一条记录。。。
一般这种情况,就是遍历整库找问题了:select count(*) as count , index from `table` group by index having count > 1;
然而结果集是空的。
我尝试了各种办法,想着办法用其他表关联着查,最终就是找不到那条诡异的冲突数据。不得不转变思路,回到最开始的疑虑之处,既然有唯一索引又为什么会数据列冲突!? 有两种可能:
1.原来存在冲突的数据,而唯一索引是后来加上的。
2.或者是先有了唯一索引后来插入了数据。
首先,考虑一种简单情况,只考虑索引,也就是在存在冲突的数据的基础上再加上唯一索引(冲突字段的)是怎么做到的呢?
通过 alter ignore table drop ... add unique index .. 可以忽略冲突列,加唯一约束索引,然而事情并不简单,这句话首先会忽略冲突的数据,只保留一条(带有BUG性质),只适用于myisam引擎,而mysql5.1以后都是innodb了,而我们的阿里云是5.7,要想做到这一点,除非先转一下引擎,设置完再转回来,也就是下面三句sql:
ALTER TABLE tableA ENGINE MyISAM; /*注意:修改表结构为MyISAM */
ALTER IGNORE TABLE tableA ADD UNIQUE INDEX idx_col1_u (col1); /*添加唯一索引,消重*/
ALTER TABLE table ENGINE InnoDB;
或者:
set session old_alter_table = 1;
set sql_log_bin=0;(当前session操作不记录binlog)
ALTER IGNORE TABLE tableA ADD UNIQUE INDEX idx_col1_u (col1); /*添加唯一索引,消重*/
/*行为类似于insert ignore,即遇到冲突的unique数据则直接抛弃而不报错。对于加唯一索引的情况来说就是建一张空表,然后加上唯一索引,将老数据用insert ignore语法插入到新表中,遇到冲突则抛弃数据*/
然而这对于本案例没有任何意义,因为表里不仅有唯一索引还有冲突数据,而且这数据很诡异,像幽灵一样,把索引改成非唯一后,找出一堆冲突数据,这时候我们没有办法加回唯一索引了,除非用上面的办法,但是我用了上面的办法也失败了,最奇怪的是我只改掉一条冲突的数据就可以成功加回唯一索引,之后操作更新却报另外一条数据的唯一索引的冲突。
大概就是数据库里存在这么个事:
column1 column2(unique-index)
L1 A
L2 A
L3 B
L4 B
L5 C
L6 C
L7 C
......
首先数据库更新操作,会报A的重复冲突,但是搜不出上面这个表,
我删除掉column2的唯一约束,就可以搜出以上数据,然而我把L1 A 改成L1 A1后,可以加回唯一约束(但是B,C...等等还有一大堆冲突数据,却没有报错?!),此后数据库更新操作,又会报B的冲突..如此反复
无解.