MySQL 二进制日志的使用

本文的操作环境是 macOS Mojave 10.14.1, mysql 5.7.19

二进制日志的作用

二进制日志主要记录 MySQL 数据库的变化。它会记录所有更改表数据和表结构的事件,比如 update、delete 等,它也会记录语句执行所用的时间。为了保证事件的准确性,会记录事件的长度。它不会记录 select、show 语句的执行。使用二进制日志主要有两种用途:

  1. 主从备份。主库上的二进制日志记录主库的所有变更,主库会把日志包含的事件发给从库,从库执行这些事件,从而与主库的数据保持一致;
  2. 从二进制日志恢复数据库。

Binary logging is done immediately after a statement or transaction completes but before any locks are released or any commit is done. This ensures that the log is logged in commit order.

在 commit 执行之前,写入二进制日志。

配置方式

默认情况下,二进制日志是关闭的,可以通过修改 MySQL 的配置文件来启动和设置二进制日志。

查看 MySQL 配置文件的路径:

shell> mysql --help | grep my.cnf
/etc/my.cnf /etc/mysql/my.cnf /usr/local/etc/my.cnf ~/.my.cnf

如果是用 brew 安装的 mysql,配置文件默认在 /usr/local/etc/my.cnf

在配置文件的 [mysqld] 下面添加:

# 由于 mysql 的 bug,必须配置 server-id,可以是任意值
server-id=11
# 开启二进制日志,日志文件名称是 mysql-bin
log-bin=mysql-bin
# 设置过期时间,10天后自动删除旧的日志。默认是 0,表示永不删除
expire_logs_days = 10
# 设置每个日志文件的大小,超过这个值,重新创建新的文件。最小值是4096B,最大值是 1GB,默认是1GB
max_binlog_size = 100M

注意:必须配置 server-id,否则启动 MySQL 会报错,官方文档有说明:

If you specify the --log-bin option without also specifying a --server-id, the server is not allowed to start. (Bug #11763963, Bug #56739)

日志文件默认保存在datadir目录下,也可以设置为其他路径,比如 log-bin=/usr/local/var/mysql/mysql-bin。即使在文件名称后面添加后缀,mysql 也会忽略,mysql 会添加数字后缀。

也可以直接配置为 log-bin,不加任何参数。此时日志文件的默认名称是 host_name-binhost_name 是你的主机名称。

除了二进制日志,mysql 还会创建一个 mysql-bin.index 文件,该文件保存所有的二进制日志的文件名称。可以直接使用 cat 命令查看,不要手动修改这个文件。

另外,每次重新启动 mysql,也会创建新的二进制日志。

当前客户端可以暂时关闭二进制日志: SET sql_log_bin=OFF

查看方法

使用 show variables like 'log_bin%'; 查询二进制日志设置:

image

使用 show binary logs; 查看二进制日志文件个数及文件名称:

image

使用 show master status 查看当前正在使用的日志:

image

使用 SHOW SLAVE STATUS 可以在从库上查看它在读取哪个日志;

使用 mysqlbinlog 查看二进制日志的内容,红色方框里面是该文件的创建时间:

image

二进制日志的格式

有三种格式:row-based logging(ROW),statement-based logging(STATEMENT),mixed-base logging(MIXED)。

There are several reasons why a client might want to set binary logging on a per-session basis:

  • A session that makes many small changes to the database might want to use row-based logging.
  • A session that performs updates that match many rows in the WHERE clause might want to use statement-based logging because it will be more efficient to log a few statements than many rows.
  • Some statements require a lot of execution time on the master, but result in just a few rows being modified. It might therefore be beneficial to replicate them using row-based logging.

官方文档有这样两句话:

Statement may not be safe to log in statement format.

You can avoid these issues by using MySQL's row-based replication instead.

查看日志格式:

mysql> select @@session.binlog_format;
mysql> select @@global.binlog_format;

改变日志格式:

全局改变:

mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED';

客户端改变:

mysql> SET SESSION binlog_format = 'STATEMENT';
mysql> SET SESSION binlog_format = 'ROW';
mysql> SET SESSION binlog_format = 'MIXED';

下面这张图,上面的日志是 ROW 格式,选中的日志是 STATEMENT 格式:

image

删除二进制日志

使用 reset master; 删除所有的二进制日志文件。MySQL 会重新创建二进制日志,新的日志文件扩展名从 000001 开始编号。

MySQL 还提供了删除指定日志的方法:

purge master logs to 'log_name' 删除比 log_name 编号小的日志,比如 purge master logs to 'mysql-bin.000003';,编号小于 000003 的日志会被删除。

purge master logs before 'datatime' 删除 datatime 之前的日志,日期格式是 YYYY-MM-DD hh:mm:ss

如果日志文件正在用于主从备份,它不会被删除。

使用二进制日志恢复数据库

在使用 mysql 的全量备份恢复数据库之后,可以再使用二进制日志恢复到指定时间点。比如当前时间是11点多,我不小心把一个重要的库删除了。幸好每天凌晨两点做了数据库全量备份,这时我就可以先恢复数据库到两点,然后再使用二进制日志恢复到删除之前的数据库。

直接使用日志文件恢复数据库:

shell> mysqlbinlog binlog_files | mysql -u root -p

可以把日志文件导出文本,然后编辑文本,删除一些不需要执行的语句,然后再恢复数据库:

shell> mysqlbinlog binlog_files > tmpfile
shell> ... edit tmpfile ...
shell> mysql -u root -p < tmpfile

如果有多个日志文件,在一个连接中使用它们:

shell> mysqlbinlog binlog.000001 binlog.000002 | mysql -u root -p

恢复到指定时间点:

shell> mysqlbinlog --stop-datetime="2018-10-25 11:00:00" \
         /var/log/mysql/bin.123456 | mysql -u root -p

从指定时间点恢复:

shell> mysqlbinlog --start-datetime="2018-10-25 10:01:00" \
         /var/log/mysql/bin.123456 | mysql -u root -p

根据位置恢复:

shell> mysqlbinlog --stop-position=368312 /var/log/mysql/bin.123456 \
         | mysql -u root -p

shell> mysqlbinlog --start-position=368315 /var/log/mysql/bin.123456 \
         | mysql -u root -p

位置信息可以从日志文件的 log_pos 获取。

参考

  1. MySQL 二进制日志简介

  2. 二进制日志所有参数

  3. mysqlbinlog 的使用方法

  4. 使用二进制日志恢复数据库

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,271评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,725评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,252评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,634评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,549评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,985评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,471评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,128评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,257评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,233评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,235评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,940评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,528评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,623评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,858评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,245评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,790评论 2 339

推荐阅读更多精彩内容