1、什么是rsync?
rsync,Rsync英文全称为Remote synchronization 缩写rsync
是开源、高速的、可实现本地以及远程,全量以及增量的数据复制(拷贝)工具。
2、全量和增量区别
全量复制:
[root@nfs01 ~]# cp -a /etc/ /opt/
[root@nfs01 ~]# \cp -a /etc/ /opt
[root@nfs01 ~]# touch /etc/oldboy.txt
[root@nfs01 ~]# \cp -a /etc/ /opt/
增量复制: 只复制oldboy.txt
3、rsync的作用 工作中需要定时/实时数据备份。
本地服务器目录、不同机器、 不同机房之间的数据备份。
都可以用rsync完成。
4、rsync功能特性
支持拷贝普通文件与特殊文件,如链接文件,设备文件等。
支持排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。
可实现增量复制,既只复制发生变化的数据,因此数据传输效率很高。
可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件(rsync本身不对数据加密)。
可以通过socket(进程方式)传输文件和数据(服务端和客户端)*。
支持匿名或认证(无需系统用户)进程模式传输,安全的进行数据备份及镜像
5、增量复制原理
使用 quick check算法,只对增量的部分复制,根据大小属性的变化进行复制。
2.x比对差异后复制,3.x一边比对一边复制。
6、rsync三种工作模式介绍
1)本地(local)
rsync就是一个命令
rsync命令 参数选项 [源目录或文件] 目的目录或文件
命令操作:
rsync命令
a.把数据从一个地方复制到另一个地方(仅在一台机器增量),相当于cp。
b.通过加参数实现删除文件和清空文件内容的功能,相当于rm命令。
c.查看属性信息功能,相当于ls。
a.拷贝实践
[root@backup ~]# ls /opt
[root@backup ~]# rsync /etc/hosts /opt
[root@backup ~]# ls /opt
[root@backup ~]# \cp /etc/hosts /opt
保持属性:
[root@backup ~]# rsync -zrtopg /etc/hosts /opt/
[root@backup ~]# ls -lhi /etc/hosts /opt/hosts
b.删除实践
删除文件内容:
[root@backup ~]# touch /null.txt #空文件
[root@backup ~]# cat /opt/hosts
[root@backup ~]# rsync --delete /null.txt /opt/hosts #让前面null.txt和后面hosts一样
[root@backup ~]# rsync -r --delete /null.txt /opt/hosts
[root@backup ~]# cat /opt/hosts
删除目录下所有文件:
[root@backup ~]# mkdir /null
[root@backup ~]# rsync -r --delete /null/ /opt/ #让后面opt和前面null目录内容保持一致
[root@backup ~]# ls /opt/
c.查看属性
[root@backup ~]# rsync /etc/hosts
2)远程Shell模式
借助类似ssh隧道传输数据,适合不同的机器之间复制。
异地拷贝,相当于scp,区别scp是远程全量拷贝)
拉门 推门 思考:
pull,拉:从远端拉取到本地。
语法: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
rsync命令 参数选项 [认证用户]@[主机地址]:[源路径] 本地路径
语法: push,推:从本地推到远端。
rsync [OPTION...] SRC... [USER@]HOST:[DEST]
rsync命令 参数选项 本地路径 [认证用户]@[主机地址]:[目标路径]
push实践:
[root@nfs01 ~]# rsync -avz /etc/hosts root@172.16.1.41:/opt/ #加密传输。
检查:
[root@backup ~]# cd /opt/
[root@backup /opt]# ls
rsync -avz /etc/hosts root@172.16.1.41:/opt/
rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
上述命令是等价的。-e 指定通道 ssh ssh服务连接客户端 -p 22指定22端口。
[root@nfs01 ~]# rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
拉的命令:
rsync -avz root@172.16.1.41:/opt/hosts /opt
rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt
推拉:
a.参照物,执行命令的机器
b.root@172.16.1.41 使用的用户和主机,就用主机和用户的密码。
强调一个重点:适合rsync null和null/ 区别,null是目录和目录下的内容, null/只是目录下的内容,不含本身。
3)rsync守护进程模式 首先要搭建rsync服务端(要有守护进程),然后才能在客户端实现推拉数据。
企业运维的重要模式,重点讲。
rsync服务模式:*****开启后台进程,接受别人访问。
7、rsync命令参数 rsync命令参数:
-v, --verbose 显示输出过程
-z, --compress 压缩
-a, --archive 多参数集合(-rtopgDl)
-r, --recursive 递归
-t, --times 保持修改时间属性
-o, --owner 保持属主不变
-p, --perms 保持权限不变
-g, --group 保持用户组不变
-l, --links 保持拷贝软连接
-q, --quiet 安静的拷贝
--bwlimit=KBPS 限制I/O带宽,KBytes per second。
--delete 删除
--exclude 排除
--exclude-from 从文件中排除
企业常用参数组合:-avz或者-vzrtopg
8、rsync守护进程模式应用实践
(1)以下操作都是在backup服务器
1)安装
[root@backup ~]# rsync --version
rsync version 3.1.2 protocol version 31
[root@backup ~]# yum install rsync
2)配置配置文件/etc/rsyncd.conf
备份cp /etc/rsyncd.conf{,.ori}
创建用户和备份目录
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
3)启动和检查
rsync --daemon(c6及以前)
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd
[root@backup ~]# ps -ef|grep sync|grep -v grep #检查进程
[root@backup ~]# netstat -lntup|grep 873 #检查端口
[root@backup ~]# lsof -i :873 #检查端口
4)配置密码文件
[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@backup ~]# ls -l /etc/rsync.password
rsync服务端配置完成。
(2)以下操作都是在客户端服务器
以下方法2选1 方法1:
认证密码文件
[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月 15 11:55 /etc/rsync.password
方法2:
[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc
[root@nfs01 ~]# tail -1 /etc/bashrc
export RSYNC_PASSWORD=oldboy
[root@nfs01 ~]# . /etc/bashrc
[root@nfs01 ~]# echo $RSYNC_PASSWORD
rsync客户端 nfs01 配置完成
(3)守护进程模式,客户端rsync的命令语法:
配置服务器端守护进程,实现数据传输: 1、服务器端守护进程。2、客户端执行命令。
拉门、推门 思考:
pull,拉:从远端拉取到本地。
语法1(常用):
rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync命令 参数选项 [虚拟用户]@[主机地址]::[模块名] 本地路径 语法
2: rsync [OPTION...] rsync://[USER@]HOST::SRC... [DEST]
rsync命令 参数选项 rsync://[虚拟用户]@[主机地址]/[模块名] 本地路径
push,推:从本地推到远端。
语法1(常用):
rsync [OPTION...] [DEST] [USER@]HOST::SRC...
rsync命令 参数选项 本地路径 [虚拟用户]@[主机地址]::[模块名]
语法2:
rsync [OPTION...] [DEST] rsync://[USER@]HOST::SRC...
rsync命令 参数选项 本地路径 rsync://[虚拟用户]@[主机地址]/[模块名]
测试增量
[root@nfs01 ~]# touch /etc/oldboy.txt
[root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
第二种推的语法
[root@nfs01 ~]# rsync -avz /etc rsync://rsync_backup@172.16.1.41/backup