Linux中如何实现数据之间的同步?来看看这个基础入门篇,Rsyuc实现服务之间的数据同步

RSYNC 概述

在这里插入图片描述

Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同
步,可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,传输前执行压缩,因 此非常适合用于架构集中式备份或异地备份等应用。 公众号【学神来啦】
官方网站:https://rsync.samba.org/

RSYNC 数据备份

与 SCP 的比较:scp 无法备份大量数据,类似 Windows 的复制。
而 rsync 边复制,边统计,边比较。

Rysnc 特性和优点

1.可以镜像保存整个目录树和文件系统。
2.可以很容易做到保持原来文件的属性、权限、时间、软硬链接等等。
3.无须特殊权限即可安装。
4.快速:第一次同步时 rsync 复制全部内容,但在下一次只传输修改过的文件。
5.压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
6.安全性:可以使用 scp、ssh 等方式来传输文件,当然也可以通过直接的 socket 连接。选择性保
持:符号连接,硬链接,文件属性,权限,时间等。

常见备份分类

(1) 完整备份:每次都备份所有数据。
(2) 差异备份:每次备份和第一次完全备份相比的“差异”部分数据。


在这里插入图片描述

(3) 增量备份:除第一次备份以外,每次只备份增长数据。


在这里插入图片描述

RSYNC 原理

1.运行模式和端口:
采用 C/S 模式(客户端/服务器模式)[ 实际上是一个点到点的传输,直接使用 rsync 命令即可完
成 ]
rsync 监听的端口:873

2.四个名词的解释:
发起端:负责发起 rsync 同步操作的客户机叫做发起端,通知服务器我要备份你的数据。
备份源:负责响应来自客户机 rsync 同步操作的服务器叫做备份源,需要备份的服务器。
服务端:运行 rsyncd 服务,一般来说,需要备份的服务器。
客户端:存放备份数据。

3.数据同步方式:
推 push:一台主机负责把数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况。
拉 pull:所有主机定时去找一台主机拉数据,可能就会导致数据缓慢。
推:目的主机配置为 rsync 服务器,源主机周期性的使用 rsync 命令把要同步的目录推过去(需要
备份的机器是客户端,存储备份的机器是服务端)。
拉:源主机配置为 rsync 服务器,目的主机周期性的使用 rsync 命令把要同步的目录拉过来(需要
备份的机器是服务端,存储备份的机器是客户端)。
两种方案,rsync 都有对应的命令来实现。
rsync 命令示例说明 push 和 pull,如图


在这里插入图片描述

系统之前 xinetd 管理 Rsync 工作原理,如图


在这里插入图片描述

使用 rsync 来同步是先通过 xinetd 监听 873 号端口,如果 rsync 进来的是 873 号端口,那么
xinetd 就会通知它所管辖的 rsync 服务来做回应,接下来就是 rsync 俩服务于之间的通讯。

实战:使用 rsync 进行数据同步

rsync 命令的基本用法:
格式:rsync 【选项】 源文件 目标文件
常见的选项:

-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数
-rlptgoD
-v:显示 rsync 过程中详细信息。
-r,–recursive 对子目录以递归模式处理
-l,--links 表示拷贝链接文件
-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-z , --compress 表示压缩传输
-H 表示硬连接文件
-A 保留 ACL 属性信息
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件

例: rsync --delete /原始位置(要同步的数据) 192.168.1.64:/目标位置

实战 1: 备份 xuegod63 的/var/www/html 目录到 xuegod64 的/web-back。

开始备份:
xuegod63: 创建用于测试的数据

[root@xuegod64 ~]# mkdir /web-back
[root@xuegod63 ~]# mkdir -p /var/www/html
[root@xuegod63 ~]# cp -r /boot/grub2/ /var/www/html
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ \
root@192.168.1.64:/web-back

常见的选项:

-a,--archive(存档) 归档模式,表示以递归的方式传输文件,并且保持文件属性,等同于加了参数
-rlptgoD
-z , --compress 表示传输前压缩
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件,保障源文件和目标文件一致

实战 2: 使用 ssh 密钥实现无交互备份。做成脚本,将 xuegod63 上的数据,定期备份到xuegod64 上

在 xuegod63 上生成密钥对

[root@xuegod63 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回库
Enter passphrase (empty for no passphrase): #直接回库
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ac:64:7f:6c:54:41:a1:80:4a:ab:79:9a:6d:d1:ef:e0 root@xuegod63.cn
The key's randomart image is:
+--[ RSA 2048]----+
| .. .+. |
| . . . . . |
| . o . . |
| o . . |
| o .o S . |
| o oo.o o |
| = .o.. + |
| o o. ..o |
| . E.. |
+-------------------+

查看生成的公钥和私钥:

[root@xuegod63 ~]# ls /root/.ssh/
id_rsa(私钥) id_rsa.pub(公钥) known_hosts

将公钥上传到 xuegod64 数据源
方法 1: [root@xuegod63 ~]# ssh-copy-id root@192.168.1.64
相当于你执行了:
方法 2: # scp /root/.ssh/id_rsa.pub root@192.168.1.64:/root/.ssh/authorized_keys

查看:

[root@xuegod64 ~]# ls /root/.ssh/
authorized_keys known_hosts

测试,不输密码直接登录:

[root@xuegod63 ~]# ssh root@192.168.1.64
[rget1@xuegod64 ~]# exit

测试,不输密码直接备份:

[root@xuegod64 ~]# rm -rf /web-back/*
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ root@192.168.1.64:/webback

ctrl+r 可以搜索历史命令快速调到前台执行

Rsync 服务安装

实验拓扑:
xuegod63(源主机 192.168.1.63)
xuegod64(目标主机 192.168.1.64)
需要关闭 selinux,否则即使创建/etc/rsyncd.conf 文件之后去启动服务也不会生效。

[root@xuegod63 ~]# setenforce 0
[root@xuegod63 ~]#yum -y install rsync
[root@xuegod63 ~]#systemctl start rsyncd
[root@xuegod63~]# netstat -antup | grep 873 #查看 873 端口是否监听。
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 43447/rsync
tcp6 0 0 :::873 :::* LISTEN 43447/rsync

centos6/8 系统使用如下方法启动 rsync

yum -y install xinetd rsync
touch /etc/rsyncd.conf
rsync --daemon
systemctl start xineted
netstat -antpu|grep 873

rsync 命令选项

-a:--archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等。
-z:--compress 压缩模式,当资料在传送到目的端进行档案压缩。
-H:--hard-links 保留硬链接文件。
--version:输出 rsync 版本。
-v:--verbose 复杂的输出信息。
-u:--update 仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文
件,不覆盖新的文件。
--port=PORT:定义 rsyncd(daemon)要运行的 port(预设为 tcp 873)。
--delete:删除那些目标位置有的文件而备份源没有的文件。
--password-file=FILE :从 指定密码文件中获取密码。
--bwlimit=KBPS:限制 I/O 带宽。
--filter “-filename”:需要过滤的文件。
--exclude=filname:需要过滤的文件。
--progress:显示备份过程。
通常常用的选项 –avz

使用 rsync 备份数据保持原有文件权限

对 xuegod63 网站根目录的/var/www/html 目录备份到 xuegod64 的/web-back 。
服务器:xuegod63
客户端:xuegod64

1.建立测试用户(两台主机都需要操作)

[root@xuegod64 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

更改用户 rget1 的密码 。
passwd:所有的身份验证令牌已经成功更新。

[root@xuegod63 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

2.更改用户 rget1 的密码 。
passwd:所有的身份验证令牌已经成功更新。
对目录赋予 ACL 权限:

[root@xuegod63 ~]# mkdir /var/www/html/ -p #创建目录。
[root@xuegod63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xuegod63 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
#默认权限,当用户创建文件时,会使用这个权限应用到新创建的文件
[root@xuegod63 ~]# getfacl /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

3.创建测试数据:

[root@xuegod63 ~]# cp -r /boot/* /var/www/html/
 # 复制/boot/目录下所有内容到 /var/www/html/目录下。

4.服务端上操作:

[root@xuegod64 ~]# mkdir /web-back #创建存放数据目录。
[root@xuegod64 ~]# chown rget1:rget1 -R /web-back/
#修改目录属主、属组为 rget1 用户。
[root@xuegod63 ~]# rsync -avz /var/www/html/ rget1@192.168.1.64:/web-back/
The authenticity of host '192.168.0.64 (192.168.0.64)' can't be established.
ECDSA key fingerprint is
SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.
ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.
Are you sure you want to continue connecting (yes/no)? yes #输入 yes。
Warning: Permanently added '192.168.0.64' (ECDSA) to the list of known hosts.
rget1@192.168.0.64's password: #输入 rget1 用户密码。
sending incremental file list
./
sent 29 bytes received 15 bytes 3.03 bytes/sec
total size is 0 speedup is 0.00

使用非系统用户备份数据

实验开始之前首先客户端服务器端关闭防火墙 firewalld 否则实验失败:

[root@xuegod63 ~]# systemctl stop firewalld.service
[root@xuegod64 ~]# systemctl stop firewalld.service

使用非系统用户进入备份数据,依靠系统中的 rsync 配置文件/etc/rsyncd.conf 进行备份数据,并
创建备份账户,最终把 rsync 以 deamon 方式运行。

1.rsyncd.conf 配置文件:

配置文件分为两部分:全局参数、模块参数。
全局参数:对 rsync 服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数最终生效。
模块参数:定义需要通过 rsync 输出的目录定义的参数。

(1)常见的全局参数:

port:指定后台程序使用的端口号,默认为 873。

uid:该选项指定当该模块传输文件时守护进程应该具有的 uid,配合 gid 选项使用可以确定哪些可
以访问怎么样的文件权限,默认值是" nobody"。

gid:该选项指定当该模块传输文件时守护进程应该具有的 gid。默认值为" nobody"。

max connections:指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知
随后再试。默认值是 0,也就是没有限制。

lock file:指定支持 max connections 参数的锁文件,默认值是/var/run/rsyncd.lock。

motd file:" motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客
户,默认是没有 motd 文件的。

log file:" log file"指定 rsync 的日志文件,而不将日志发送给 syslog。

pid file:指定 rsync 的 pid 文件,通常指定为“/var/run/rsyncd.pid”,存放进程 ID 的文件位
置。

hosts allow:单个 IP 地址或网络地址,允许访问的客户机地址。

(2)常见的模块参数:
主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是
在 rsync 客户端看到的名字,其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通
过 path 来指定的。

Comment:给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认
没有描述定义。

path:指定该模块的供备份的目录树路径,该参数是必须指定的。

read only:是否为只读模式 true/false。true 无法上传写入。

exclude:用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到 exclude 列表中。这
等同于在客户端命令中使用―exclude 或----filter 来指定某些文件或目录不下载或上传(既不可访问)

exclude from:指定一个包含 exclude 模式的定义的文件名,服务器从该文件中读取 exclude 列
表定义,每个文件或目录需要占用一行

include:用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include 来指定
模式,结合 include 和 exclude 可以定义复杂的 exclude/include 规则。

include from:指定一个包含 include 模式的定义的文件名,服务器从该文件中读取 include 列表
定义。

auth users:该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里
的用户和系统用户没有任何关系。如果" auth users"被设置,那么客户端发出对该模块的连接请求以后
会被 rsync 请求 challenged 进行验证身份这里使用的 challenge/response 认证协议。用户的名和密
码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿
名方式)。

secrets file:该选项指定一个包含定义用户名:密码对应的文件。只有在" auth users"被定义时,
该文件才有作用。文件每行包含一个 username:passwd 对。一般来说密码最好不要超过 8 个字符。没
有默认的 secures file 名,注意:该文件的权限一定要是 600,否则客户端将不能连接服务器。

hosts allow:指定哪些 IP 的客户允许连接该模块。定义可以是以下形式:
单个 IP 地址,例如:192.167.0.1,多个 IP 或网段需要用空格隔开。
整个网段,例如:192.168.0.0/24,也可以书写为 192.168.0.0/255.255.255.0
“*”则表示所有,默认是允许所有主机连接。

hosts deny:指定不允许连接 rsync 服务器的机器,可以使用 hosts allow 的定义方式来进行定
义。默认是没有 hosts deny 定义。

list:该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为

false,可以创建隐藏的模块。默认值是 true。

timeout:通过该选项可以覆盖客户指定的 IP 超时时间。通过该选项可以确保 rsync 服务器不会永
远等待一个崩溃的客户端。超时单位为秒钟,0 表示没有超时定义,这也是默认值。对于匿名 rsync 服务器来说,一个理想的数字是 600。

实战:使用 rsync 服务进行数据同步。

用配置文件定义目录输出。
服务器:xuegod64
客户端:xuegod63

[root@xuegod64 ~]# vim /etc/rsyncd.conf #文件不存在,需要手动创建。
注意: #会出现因注释不兼容的问题而导致推数据时出现报错,配置文件需取消注释或者注释进行换
行处理。
uid = root #运行进程的身份。
gid = root #运行进程的组。
address =192.168.1.64 #监听 IP。
port =873 #监听端口。
hosts allow =192.168.1.0/24 #允许同步客户端的 IP 地址,可以是网段,或者用*表示所
有 192.168.1.0/24 或 192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢,锁定家目录,rsync 被黑之后,黑客无法再 rsync
运行的家目录之外创建文件,选项设置为 yes。
max connections =5 #最大连接数。
pid file =/var/run/rsyncd.pid #进程 PID,自动生成。
lock file =/var/run/rsync.lock #指 max connectios 参数的锁文件。
log file =/var/log/rsyncd.log #日志文件位置。
motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息,需要创建。
[wwwroot] #共享模块名称。
path =/web-back/ #路径。
comment = used for web-data root #描述。
read only = false #只读权限为假。
list = yes #是否允许查看模块信息。
auth users = rsyncuser #备份的用户,和系统用户无关。
secrets file =/etc/rsync.passwd #存放用户的密码文件,格式是 用户名:密码。

创建提示文件和用户密码

#编辑欢迎信息文件。
[root@xuegod64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xuegod64 ~]# vim /etc/rsync.passwd #创建并编写密码文件。
rsyncuser:password123 #格式为 用户名称:密码。
[root@xuegod64 ~]# chmod 600 /etc/rsync.passwd
#密码文件权限必须是 700 或者 600,否则的话身份验证会失效。
[root@xuegod64~]#systemctl start rsyncd
[root@xuegod64~]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文
件 rsyncd.conf 启动 rsync 服务。
[root@xuegod64 ~]# netstat -antup | grep :873 #查看 873 端口是否监听。
tcp 0 0:::873 :::* LISTEN 45089/xinetd

测试

rsync 语法:rsync 选项 用户名@备份源服务器 IP::共享模块名 目标目录
[root@xuegod63 ~]# rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot
Welcome to Backup Server
Password: #输入密码 password123

密码处理

新建一个文件保存好密码,然后在 rsync 命令中使用--password-file 指定此文件即可
[root@xuegod63 ~]# vim /etc/rsync.passwd #创建密码文件,其中中需要指定密码即
可。
password123
[root@xuegod63 ~]# chmod 600 /etc/rsync.passwd #赋予密码文件 600 权限。
[root@xuegod63~]# rsync -avz /var/www/html \
rsyncuser@192.168.0.64::wwwroot --password-file=/etc/rsync.passwd 推 push
[root@xuegod63~]#rsync -azP rsyncuser@192.168.1.202::wwwroot /opt --passwordfile=/etc/rsync.passwd 拉 pull
在这里插入图片描述

脚本实现定时自动备份

[root@xuegod63 ~]# vim autobackup.sh #编写脚本。
#!/bin/bash
rsync -avz /var/www/html \
rsyncuser@192.168.1.64::wwwroot -- password-file=/etc/rsync.passwd
[root@xuegod63 ~]# chmod +x autobackup.sh #赋予脚本执行权限。
[root@xuegod64 ~]# rm -rf /web-back/ *
[root@xuegod63 ~]# sh autobackup.sh #测试脚本。
定义计划任务实现定时备份:
[root@xuegod63 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容