mysql 物理备份工具之 xtrabackup

之前使用 mysqldump 备份的 https://www.jianshu.com/p/f34dc0a3c5ce 它是一种备份sql文件的逻辑备份。备份恢复速度慢而且文件体积也大。mysql可以通过xtrabackup 实现物理备份，备份 frm、idb文件

1、备份速度快，物理备份可靠
2、备份过程不会打断正在执行的事务（无需锁表）
3、能够基于压缩等功能节约磁盘空间和流量
4、自动备份校验
5、还原速度快
6、可以流传将备份传输到另外一台机器上
7、在不增加服务器负载的情况备份数据

xtrabackup一定是安装在mysql服务器上的，因为使用它进行备份需要指定my.cnf文件

官网安装最新版 8.0.4

https://www.percona.com/downloads/Percona-XtraBackup-LATEST/

image.png

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-8.0.4/binary/redhat/7/x86_64/percona-xtrabackup-80-8.0.4-1.el7.x86_64.rpm
yum localinstall percona-xtrabackup-80-8.0.4-1.el7.x86_64.rpm

[root@localhost xtrabackupdata]#  xtrabackup --version
xtrabackup: recognized server arguments: --datadir=/data/mysql/mysql-5.7.31-linux-glibc2.12-x86_64/data --log_bin=mysql-bin --server-id=1 
xtrabackup version 8.0.4 based on MySQL server 8.0.13 Linux (x86_64) (revision id: c2c0777)

几番周折尝试备份，发现不能支持5.7版本的mysql

xtrabackup --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14 --databases=iam --target-dir=/data/mysql/xtrabackupdata  --backup=true

This version of Percona XtraBackup can only perform backups and restores against MySQL 8.0 and Percona Server 8.0
Please use Percona XtraBackup 2.4 for this database.

找到了mysql和 xtrabackup版本对应关系
MySQL 5.6及之前的版本需要安装 Percona XtraBackup 2.3，安装指导请参见官方文档Percona XtraBackup 2.3。
MySQL 5.7版本需要安装 Percona XtraBackup 2.4，安装指导请参见官方文档Percona XtraBackup 2.4。
MySQL 8.0版本需要安装 Percona XtraBackup 8.0，安装指导请参见官方文档Percona XtraBackup 8.0。

卸载：

[root@localhost xtrabackupdata]# rpm -qa | grep xtrabackup
percona-xtrabackup-80-8.0.4-1.el7.x86_64
[root@localhost xtrabackupdata]# rpm -e percona-xtrabackup-80-8.0.4-1.el7.x86_64
[root@localhost xtrabackupdata]# rpm -qa | grep xtrabackup

安装 percona-xtrabackup 2.4

[root@localhost xtrabackupdata]# xtrabackup --version
xtrabackup version 2.4.4 based on MySQL server 5.7.13 Linux (x86_64) (revision id: df58cf2)

tar压缩归档


innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14  --stream=tar /data/mysql/xtrabackupdata |gzip >/data/mysql/xtrabackupdata/`date +%F`.tar.gz

发送到远程服务器

innobackupex --defaults-file=/etc/my.cnf --user=root --password=`Sgl20@14` --host=127.0.0.1 --port=3306 --stream=tar ./ | ssh root@10.0.0.70 -p14573 \ "cat - > /data/dbbackup/backup.tar"

使用脚本定时备份

普通的策略是：每周进行一次全备，接下来6天执行增量备份，并保留上一周的一套备份。同时全备也复制一个副本。防止被增量备份应用过后无法恢复。

全量备份

全量备份步骤
innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14 /data/mysql/xtrabackupdata

备份完成后的目标文件夹，这里最好不要指定 --databases 只备份目标库，应该把所有库都备份下来。包括mysql库。只备份目标库会导致恢复时后识别不了表，需要重新创建表然后关联表空间。（有个table_id保存在共享表空间文件中）


image.png
全量恢复步骤

1、执行恢复操作，首先确保mysql data目录为空。可以先将mysql的 data 文件夹更名为其它比如 mv data data.bak，不然恢复的时候会报错的。

2、应用全量备份

innobackupex --default-file=/etc/my.cnf --apply-log /data/mysql/xtrabackupdata/2020-10-28_17-15-52

一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或者已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处于不一致状态。"准备"的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使用得数据文件处于一致性状态。 在实现"准备"的过程中，innobackupex通常还可以使用--user-memory选项来指定其可以使用的内存的大小，默认为100M.如果有足够的内存空间可用，可以多划分一些内存给prepare的过程，以提高其完成备份的速度。

看到innobackupex: completed OK! 表示成功.

3 、拷贝文件

innobackupex  --default-file=/etc/my.cnf  --copy-back /data/mysql/xtrabackupdata/2020-10-28_17-15-52

4、修改文件权限

chown -R mysql.mysql /data/

5、重启数据库（数据恢复的mysql需要重启）

 service mysqld  restart

增量备份

使用innobackupex进行增量备份，每个InnoDB的页面都会包含一个LSN信息，每当相关的数据发生改变，相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础，即innobackupex通过备份上次完全备份之后发生改变的页面来实现。

在进行增量备份时，首先要进行一次全量备份，第一次增量备份是基于全备的，之后的增量备份都是基于上一次的增量备份的，以此类推。比如增量1基于全备、增量2基于增量1。

但是恢复的时候却不是像备份的那样一层一层的应用，而是 增量备份1应用到全量备份，然后紧接着增量备份2再应用到全量备份，增量备份3应用... 依次类推。（增量1、增量2、增量3按时间先后应用）

需要注意的是，增量备份仅能应用于InnoDB或XtraDB表，对于MyISAM表而言，执行增量备份时其实进行的是完全备份。因为MyISAM不支持事务，而增量备份确是基于事务实现的。原理就是在全量备份上面按时间顺序依次重新执行（重放）各个增量备份中的提交的事务。

进行增量备份步骤

1、执行增量备份之前都需进行一次全量的备份

innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14 /data/mysql/xtrabackupdata

2、基于之前的备份来进行增量备份

innobackupex --defaults-file=/etc/my.cnf  --user=root--password=Sgl20@14 --incremental /data/mysql/xtrabackupdata --incremental-basedir=/data/mysql/xtrabackupdata/2020-10-28_17-15-52

incremental-basedir 指定基于的备份，第一次增量备份就是基于全量的。以后的增量就是基于上一次的增量。

增量备份的恢复步骤

1、现在已有1个全量和2个增量


image.png

2、要先准备基本备份

xtrabackup --prepare --apply-log-only --target-dir=/data/mysql/xtrabackupdata/2020-10-29_16-19-39

target-dir 指定基本备份路径（全量备份）

"准备"(prepare)增量备份与整理完全备份有着一些不同，尤其要注意的是：
1、需要在每个备份 (包括完全和各个增量备份)上，将已经提交的事务进行"重放"。"重放"之后，所有的备份数据将合并到完全备份上。2、基于所有的备份将未提交的事务进行"回滚"

3、将所有的增量应用到全量之上，有多个增量则按备份时间顺序执行。这里有2个增量则执行2次。

①、将增量1于全量

xtrabackup --prepare --apply-log-only --target-dir=/data/mysql/xtrabackupdata/2020-10-29_16-19-39 --incremental-dir=/data/mysql/xtrabackupdata/2020-10-29_16-20-37

incremental-dir 指定增量备份路径。

②、再将增量2应用到全量上

xtrabackup --prepare --apply-log-only --target-dir=/data/mysql/xtrabackupdata/2020-10-29_16-19-39 --incremental-dir=/data/mysql/xtrabackupdata/2020-10-29_16-22-02

1、若在一次恢复数据后又有增量备份3出现，那么现在像想要恢复到增量备份3的话直接将增量3应用到全量上就行了，之前增量1、增量2应用过一次就ok了不需要重复应用。
2、也就是说已经应用了增量备份的全量备份就是等于 全量+增量，再也不能回到之前的全量快照了！所以说想要保持之前的全量备份就必须自己手动copy一份防止出现意外。

4、恢复备份，指定的是第一个基本备份

 xtrabackup --copy-back --target-dir=/data/mysql/xtrabackupdata/2020-10-29_16-19-39

同样恢复数据时需要保证data文件夹为空！不然报如下错误：

xtrabackup version 2.4.4 based on MySQL server 5.7.13 Linux (x86_64) (revision id: df58cf2)
Original data directory /data/mysql/mysql-5.7.31-linux-glibc2.12-x86_64/data is not empty!

5、修改权限

 chown mysql:mysql  ./data -R *

6、重启数据库

 service mysqld  restart

可以通过查看xtrabackup_checkpoints文件来区分 备份文件是全量还是增量

全量

[root@localhost 2020-10-28_18-28-36]# cat xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 22917932
last_lsn = 22917941
compact = 0
recover_binlog_info = 0

增量

[root@localhost 2020-10-29_14-09-10]# cat xtrabackup_checkpoints
backup_type = incremental
from_lsn = 22916945
to_lsn = 22924162
last_lsn = 22924171
compact = 0
recover_binlog_info = 0

主从复制下使用需注意

在主从环境，那将master进行恢复后，因恢复过程中没有产生二进制日志（xtrabackup恢复毕竟只是磁盘文件的恢复，并不会写binlog），slave不会恢复到跟master一致，所以也要在slave使用同样的方式进行恢复。

压缩备份

Percona XtraBackup实施了对压缩备份的支持。它可用于使用xbstream压缩/解压缩本地或流式备份。

创建压缩备份

为了进行压缩备份，您需要使用xtrabackup --compress 选项：

innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14 --compress /data/mysql/xtrabackupdata

如果你想加快压缩速度，你可以使用并行压缩，这可以通过xtrabackup --compress-threads选项启用。以下示例将使用四个线程进行压缩：

innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14 --compress --compress-threads=4   /data/mysql/xtrabackupdata

压缩过的备份文件相对于没有压缩的备份文件多了 .qp 结尾

image.png

恢复压缩备份

1、在准备备份之前，您需要解压所有文件。 Percona XtraBackup已经实现了可用于解压缩备份的选项 xtrabackup --decompress，但是Innobackupex默认没有集成安装qpress，不安装报错

201030 14:59:35 [01] decompressing ./xtrabackup_logfile.qp
sh: qpress: 未找到命令
Error: thread 0 failed.

因此需要先手动安装qpress

wget http://www.quicklz.com/qpress-11-linux-x64.tar
tar xvf qpress-11-linux-x64.tar
cp qpress /usr/bin

2、然后指定压缩备份进行解压

innobackupex --decompress --remove-original  /data/mysql/xtrabackupdata/2020-10-30_14-28-07

会把文件直接解压到当前目录


image.png

Percona XtraBackup不会自动删除压缩文件。为了清理备份目录，您应该使用 xtrabackup --remove-original 移除原始选项。

之后的恢复操作就和上面介绍的一样了。

tar压缩归档


innobackupex --defaults-file=/etc/my.cnf --host=192.168.6.128 --user=root --password=Sgl20@14  --stream=tar /data/mysql/xtrabackupdata |gzip >/data/mysql/xtrabackupdata/`date +%F`.tar.gz

发送到远程服务器

innobackupex --defaults-file=/etc/my.cnf --user=root --password=`Sgl20@14` --host=127.0.0.1 --port=3306 --stream=tar ./ | ssh root@10.0.0.70 -p14573 \ "cat - > /data/dbbackup/backup.tar"

使用脚本定时备份

普通的策略是：每周进行一次全备，接下来6天执行增量备份，并保留上一周的一套备份。同时全备也复制一个副本。防止被增量备份应用过后无法恢复。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,921评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,635评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,393评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,836评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,833评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,685评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,043评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,694评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,671评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1赞 332
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,424评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,027评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2赞 351
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2赞 343