pt-table-checksum 3.0.4 bug 无法检查出不一致

环境及关键配置:oracle mysql 5.6.31、pt-table-checksum 3.0.4

binlog_format : row

现象:通过工具进行master slave 数据表的比对,命令如下:

无法检查出主从库里表一致的情况。

pt-table-checksum \

--host=172.17.0.2 \

--port=3306 \

--user=root \

--password=root \

--tables=test.sbtest1 \

--nocheck-replication-filters \

--nocreate-replicate-table \

--nocheck-binlog-format \

--replicate=percona.checksums \

--recursion-method dsn=t=percona.dsns

原因:简单说明下工具的原理

工具会在主库上建立表checksum,表中有字段this_crc,this_cnt,master_crc,master_cnt四个字段。

主库建表会同步到从库,this是从库表的一个chunk的值,master是主库相同chunk的值,对这四个字段进行比对,如果相等,则数据一致。

那么两组数据,四个值如何得到。

pt-table-checksum会先修改binlog_format=statement,再执行两次修改,第一次replace的方式修改this_crc,this_cnt,以“变量”值在主库执行

REPLACE INTO `percona`.`checksums` (db, tbl, chunk, chunk_index, lower_boundary, upper_boundary, this_cnt, this_crc) SELECT 'test', 't1', '1', NULL, NULL, NULL, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `t`, CONCAT(ISNULL(`t`)))) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test`.`t1` /*checksum table*/

语句复制到从库执行,如果主从的同一个chunk不一致,则写入到值this_crc,this_cnt也会不一致

第二次update的方式修改master_crc,master_cnt

则是以master的值作为“常量”进行更新,例如:

UPDATE `percona`.`checksums` SET chunk_time = '0.005717', master_crc = '435a7b4f', master_cnt = '3' WHERE db = 'test' AND tbl = 't1' AND chunk = '1'

则从库会复制到主库的值,然后四个值两两比对,得到一致或者不一致。

那么为什么会出现无法检查出不一致的情况呢。

因为脚本没有执行set binlog_format=statement

试想下,如果没有修改复制模式,而主库的复制模式是row或者mixed,则第一次的replace会使用row的方式进行复制,那么从库表里的this和master两组字段数据始终会保持一致。

比对pt-table-checksum工具3.0.3和3.0.4版本,发现问题出在:

去掉这个if判断修改此bug


附:

pt-table-checksum关键过程

引用自:http://keithlan.github.io/2016/05/25/pt_table_checksum/

master> /!50108 SET @@binlog_format := ‘STATEMENT’/ 设置binlog-format为statement

master> SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ 这是隔离级别为RR,利用RR的特性让数据在这一刻静止,就不用加锁了。

master> checksums表:REPLACE INTO select设置this_cnt, this_crc(传递到slave,这其实设置slave每个chunk的cnt,crc),算法来自:COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(主键) AS UNSIGNED)), 10, 16)), 0)

slave> 当同步追上后,开始执行REPLACE INTO select,然后设置slave每个chunk的cnt,crc

master> checksums表:update master_cnt,master_crc ,这是设置master每个chunk的cnt,crc

slave> 当同步追上后,开始执行update master_cnt,master_crc ,这是设置master每个chunk的cnt,crc

以上,基本完成。 接下来只需要去checksums表中找 master_cnt <> this_cnt or OR master_crc <> this_crc 的记录就行。

在做查询校验时,select语句有两个小技巧:

/*!40001 SQL_NO_CACHE */    不加载数据到innodb buffer里,避免大量的内存被换出
FORCE INDEX 强制使用同样的索引

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容

  • 数据不一致的原因 我们平台中上线了大量的MySQL业务,但是每个MySQL业务中主从数据库之间的一致性,我们基本不...
    何约什阅读 4,238评论 0 6
  • mysql主从复制 主从复制慨述 构建大型,高性能应用程序的基础主服务器复制负责更新,且将更新写入二进制日志文件,...
    肖金光xjg阅读 865评论 0 1
  • 【读经】 王上9章 【金句】 倘若你们和你们的子孙转去不跟从我,不守我指示你们的诫命律例,去侍奉敬拜别神,我就必将...
    chanor阅读 1,028评论 0 0
  • 大概断断续续用了小一个月才把这本书看完,总的来说这本叙事说情的经典名著还是挺有意思,于是看完的当天晚上熬夜把电...
    llpspark阅读 264评论 0 1
  • 有时候会为了找一个软件而头疼不已,这里找那里问,就是为了找一个类似的软件来替代,好不容易找到了,还可能不支持手头上...
    伪君子_阅读 11,033评论 0 1