rsync

1.什么是rsync？
      rsync，Rsync英文全称为Remote synchronization   缩写rsync
  是开源、高速的、可实现本地以及远程，全量以及增量的数据复制（拷贝）工具。
  官方链接资料：http://www.samba.org/ftp/rsync/rsync.html
  作用：
     工作中需要定时/实时数据备份。本地服务器目录、不同机器、
     不同机房之间的数据备份。都可以用rsync完成。
  rsync功能特性：
    （1）支持拷贝普通文件与特殊文件，如链接文件，设备文件等。
    （2）支持排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
    （3）可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。
    （4）可实现增量复制，既只复制发生变化的数据，因此数据传输效率很高。
    （5）可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）。
    （6）可以通过socket(进程方式)传输文件和数据（服务端和客户端）*。
    （7）支持匿名或认证（无需系统用户）进程模式传输，安全的进行数据备份及镜像
  增量复制原理：
      系统            rsync软件版本          原理
       C5                     2.X         同步增量复制数据原理是把所有的文件比对一遍，然后在进行数据同步。
       C6                     3.X         同步增量复制数据原理是一边比对差异，一边对差异的数据部分进行同步。
  代码层算法原理：https://coolshell.cn/articles/7425.html


2.全量与增量的区别   
   全量复制：
   [root@nfs01 ~]# cp -a /etc/ /opt/
   [root@nfs01 ~]# \cp -a /etc/ /opt
   [root@nfs01 ~]# touch /etc/oldboy.txt
   [root@nfs01 ~]# \cp -a /etc/ /opt/
   增量复制：
   只复制oldboy.txt

rsync三种工作模式

1.本地（local）。此时rsync是一个命令

     语法:rsync      [OPTION...]        SRC...           [DEST]
     rsync命令       参数选项       [源目录或文件]      目的目录或文件
 rsync命令:
     a.把数据从一个地方复制到另一个地方（仅在一台机器增量）,相当于cp。
     b.通过加参数实现删除文件和清空文件内容的功能，相当于rm命令。
     c.查看属性信息功能，相当于ls。
    （1）.拷贝实践
          [root@backup ~]# ls /opt
          [root@backup ~]# rsync /etc/hosts 
          /opt
          [root@backup ~]# ls /opt
          hosts
          [root@backup ~]# \cp /etc/hosts 
          /opt

          保持属性：
          [root@backup ~]# rsync -zrtopg 
          /etc/hosts /opt/
          [root@backup ~]# ls -lhi /etc/hosts 
          /opt/hosts
          16829878 -rw-r--r--. 1 root root 332 4月  12 11:24 /etc/hosts
          71373 -rw-r--r--  1 root root 332 4月  12 11:24 /opt/hosts

       （2）.删除实践
             删除文件内容：
             [root@backup ~]# touch /null.txt #空文件
             [root@backup ~]# cat /opt/hosts 
             127.0.0.1    localhost 
             localhost.localdomain localhost4 localhost4.localdomain4
             ::1          localhost localhost.localdomain localhost6 local
             ...........          (##此处省略）   
             172.16.1.61 m01

             [root@backup ~]# rsync --delete /null.txt /opt/hosts  #让前面null.txt和后面hosts一样
             rsync: --delete does not work without --recursive (-r) or --dirs (-d).
             rsync error: syntax or usage error (code 1) at main.c(1567) [client=3.1.2]
             [root@backup ~]# rsync -r --delete /null.txt /opt/hosts      ###删除目录＋r
             [root@backup ~]# cat /opt/hosts 

             删除目录下所有文件：
             [root@backup ~]# mkdir /null 
             [root@backup ~]# rsync -r --delete /null/ /opt/       #让后面opt和前面null目录内容保持一致
             [root@backup ~]# ls /opt/
          (3).查看属性
             [root@backup ~]# rsync /etc/hosts
             -rw-r--r--            332 2019/04/12 11:24:41 hosts

2.rsync命令参数

     企业常用参数组合：-avz或者-vzrtopg
     详细参数：
         -v, --verbose 详细模式输出。
         -q, --quiet 精简输出模式。
         -c, --checksum 打开校验开关，强制对文件传输进行校验。
         -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。
         -r, --recursive 对子目录以递归模式处理。
         -R, --relative 使用相对路径信息。
         -b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
         --backup-dir 将备份文件(如~filename)存放在在目录下。
         -suffix=SUFFIX 定义备份文件前缀。
         -u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件。
         -l, --links 保留软链结。
         -L, --copy-links 想对待常规文件一样处理软链结。
         --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结。
         --safe-links 忽略指向SRC路径目录树以外的链结。
         -H, --hard-links 保留硬链结。
         -p, --perms 保持文件权限。
         -o, --owner 保持文件属主信息。
         -g, --group 保持文件属组信息。
         -D, --devices 保持设备文件信息。
         -t, --times 保持文件时间信息。
         -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。
         -n, --dry-run现实哪些文件将被传输。
         -w, --whole-file 拷贝文件，不进行增量检测。
         -x, --one-file-system 不要跨越文件系统边界。
         -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节。
         -e, --rsh=command 指定使用rsh、ssh方式进行数据同步。
         --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。
         -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件。
         --existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件。
         --delete 删除那些DST中SRC没有的文件。
         --delete-excluded 同样删除接收端那些被该选项指定排除的文件。
         --delete-after 传输结束以后再删除。
         --ignore-errors 及时出现IO错误也进行删除。
         --max-delete=NUM 最多删除NUM个文件。
         --partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输。
         --force 强制删除目录，即使不为空。
         --numeric-ids 不将数字的用户和组id匹配为用户名和组名。
         --timeout=time ip超时时间，单位为秒。
         -I, --ignore-times 不跳过那些有同样的时间和长度的文件。
         --size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间。
         --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0。
         -T --temp-dir=DIR 在DIR中创建临时文件。
         --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份。
         -P 等同于 --partial。
         --progress 显示备份过程。
         -z, --compress 对备份的文件在传输时进行压缩处理。
         --exclude=PATTERN 指定排除不需要传输的文件模式。
         --include=PATTERN 指定不排除而需要传输的文件模式。
         --exclude-from=FILE 排除FILE中指定模式的文件。
         --include-from=FILE 不排除FILE指定模式匹配的文件。
         --version 打印版本信息。
         --address 绑定到特定的地址。
         --config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件。
         --port=PORT 指定其他的rsync服务端口。
         --blocking-io 对远程shell使用阻塞IO。
         -stats 给出某些文件的传输状态。
         --progress 在传输时现实传输过程。
         --log-format=formAT 指定日志文件格式。
         --password-file=FILE 从FILE中得到密码。
         --bwlimit=KBPS 限制I/O带宽，KBytes per second。

3.远程Shell模式

  借助类似ssh隧道传输数据，适合不同的机器之间复制。
  异地拷贝，相当于scp，区别scp是远程全量拷贝)
1.pull拉：从远端拉取到本地
  语法:  rsync        [OPTION...]     [USER@]HOST:SRC...               [DEST]
  rsync命令           参数选项         [认证用户]@[主机地址]:[源路径]     本地路径
2.push推：从本地推到远端
   语法：rsync        [OPTION...]    SRC...     [USER@]HOST:[DEST]        
        rsync命令     参数选项       本地路径    [认证用户]@[主机地址]:[目标路径]
3.push实践：
  [root@nfs01 ~]# rsync -avz /etc/hosts root@172.16.1.41:/opt/ #加密传输。
  The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.
  ECDSA key fingerprint is SHA256:qZSBkrmOv7xO/63qOU1uLXkPyNVHdkqvrNAcAmXqNEk.
  ECDSA key fingerprint is MD5:23:d0:cb:a9:f4:7c:0b:eb:2d:07:00:e1:a3:12:d8:33.
  Are you sure you want to continue connecting (yes/no)? yes
  Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.
  root@172.16.1.41's password: 
  sending incremental file list
  hosts

  sent 219 bytes  received 35 bytes  14.51 bytes/sec
  total size is 332  speedup is 1.31
   检查：
   [root@backup ~]# cd /opt/
   [root@backup /opt]# ls
   hosts
 a.rsync -avz /etc/hosts root@172.16.1.41:/opt/
 b.rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
   上述命令是等价的。-e 指定通道  ssh ssh服务连接客户端  -p 22指定22端口。
   [root@nfs01 ~]# rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
   root@172.16.1.41's password: 
   sending incremental file list

   sent 44 bytes  received 12 bytes  22.40 bytes/sec
   total size is 332  speedup is 5.93
4.pull实践
   rsync -avz root@172.16.1.41:/opt/hosts /opt
   rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt
5.rsync目录与目录下
   null个null/区别，null是目录和目录下的内容
   null/只是目录下的内容，不含本身

3.rsync守护进程模式

   首先要搭建rsync服务端(要有守护进程)，然后才能在客户端实现推拉数据。
   rsync服务模式：*****开启后台进程，接受别人访问。

rsync守护进程模式应用实践

1.backup服务器

（1）以下操作都是在backup服务器
    1.安装
      [root@backup ~]# rsync --version
      rsync  version 3.1.2  protocol version 
      31
      [root@backup ~]# yum install rsync（不需要）

    2.配置配置文件/etc/rsyncd.conf
      cp /etc/rsyncd.conf{,.ori}   #备份文件
      cat>/etc/rsyncd.conf<<EOF   #编辑备份文件
      #rsync_config_______________start
      #created by oldboy    
      #site: http://www.oldboyedu.com
      uid = rsync     #管理备份目录的用户
      gid = rsync     #管理备份目录的用户组
      use chroot = no   #安全功能，数据是否锁定到备份目录
      fake super = yes
      max connections = 200   #并发连接，同时多少客户端访问
      timeout = 600 #超时时间
      pid file = /var/run/rsyncd.pid   #进程号所在文件
      lock file = /var/run/rsync.lock   #锁文件
      log file = /var/log/rsyncd.log    #日志文件，查看报错等
      ignore errors   #忽略错误
      read only = false    #可写
      list = false    #不允许列表
      hosts allow = 172.16.1.0/24   #哪些主机可以访问
      hosts deny = 0.0.0.0/32   #哪些主机不允许访问
      auth users = rsync_backup   #远程虚拟连接用户
      secrets file = /etc/rsync.password   #存放密码的文件：格式：用户名：密码 权限  必须600
      [backup]   #【模块名】远程访问使用模块名访问
      comment = welcome to oldboyedu #说明注释
      path = /backup/   #服务端用户备份的目录，用户和组，rsync.rsync
      EOF
      man rsync 查命令的参数
      man rsyncd.conf 查配置参数    
      https://www.samba.org/ftp/rsync/rsync.html

    3.创建用户和备份目录
      [root@backup ~]# useradd rsync
      [root@backup ~]# id rsync
      uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
      [root@backup ~]# mkdir -p /backup
      [root@backup ~]# chown -R rsync.rsync /backup/
      [root@backup ~]# ls -ld /backup/
      drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/
    
    4.启动和检查
      a.检查与开启rsyncd服务
          rsync --daemon（c6及以前）
          C7：
          systemctl start rsyncd      
          systemctl enable rsyncd
          systemctl status rsyncd
       b.检查进程
          ps -ef|grep sync|grep -v grep 
       c.检查rsync端口（相关面试题：如何查看某端口对应什么服务？）
          netstat -lntup|grep 873 
          lsof -i :873
      5.配置密码文件
        [root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
        [root@backup ~]# chmod 600 /etc/rsync.password
        [root@backup ~]# cat /etc/rsync.password
        rsync_backup:oldboy
        [root@backup ~]# ls -l /etc/rsync.password
        -rw------- 1 root root 20 4月  15 11:51 /etc/rsync.password
       # rsync服务端配置完成。

2.客户端服务器

方法1：认证密码文件
  [root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
  [root@nfs01 ~]# chmod 600 /etc/rsync.password
  [root@nfs01 ~]# cat /etc/rsync.password
  oldboy
  [root@nfs01 ~]# ls -l 
  /etc/rsync.password
  -rw------- 1 root root 7 4月  15 11:55 /etc/rsync.password
方法2：
   [root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc 
   [root@nfs01 ~]# tail -1 /etc/bashrc 
   export RSYNC_PASSWORD=oldboy
   [root@nfs01 ~]# . /etc/bashrc 
   [root@nfs01 ~]# echo $RSYNC_PASSWORD
   oldboy
   #rsync客户端 nfs01 配置完成

3.守护进程模式，客户端rsync的命令语法：

 配置服务器端守护进程，实现数据传输：
  a.服务端守护进程。   b.客户端执行命令。
 1.pull拉：从远端取到本地。
   语法1（常用）：
       rsync        [OPTION...]  [USER@]HOST::SRC...                  [DEST]
       rsync命令      参数选项    [虚拟用户]@[主机地址]::[模块名]         本地路径
   语法2:
       rsync        [OPTION...] rsync://[USER@]HOST::SRC...               [DEST]
       rsync命令    参数选项   rsync://[虚拟用户]@[主机地址]/[模块名]       本地路径
 2.push,推：从本地推到远端。
   语法1（常用）：                 
       rsync        [OPTION...]   [DEST]    [USER@]HOST::SRC...                  
       rsync命令      参数选项      本地路径      [虚拟用户]@[主机地址]::[模块名]         

   语法2:                    
       rsync        [OPTION...]    [DEST]       rsync://[USER@]HOST::SRC...              
       rsync命令      参数选项      本地路径      rsync://[虚拟用户]@[主机地址]/[模块名]  

4.测试结果

错误1：
    [root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
     @ERROR: invalid uid rsync
     rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
解答：
     [root@backup ~]# useradd rsync
     [root@backup ~]# id rsync
     uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
     [root@backup ~]# mkdir -p /backup
     [root@backup ~]# chown -R rsync.rsync /backup/
     [root@backup ~]# ls -ld /backup/
     drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/

错误2：
     [root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
     sending incremental file list
     hosts
     rsync: chgrp ".hosts.YDuTjO" (in backup) failed: Operation not permitted (1)

     sent 223 bytes  received 124 bytes  694.00 bytes/sec
     total size is 332  speedup is 0.96
     rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
解答：增加如下参数到/etc/rsyncd.conf
     fake  super  = yes #不用root用户也可以存储文件的完整属性。
     This allows the full attributes of a file to  be  stored  without having to have the daemon actually running as root.
     [root@backup ~]# grep fake /etc/rsyncd.conf
     fake super = yes

     改完配置，要重启服务：
     [root@backup ~]# systemctl restart rsyncd
     再测试：成功
     [root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
     sending incremental file list
     hosts

     sent 89 bytes  received 49 bytes  276.00 bytes/sec
     total size is 332  speedup is 2.41

     rsync -avz /etc rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
     
     服务端检查：
     [root@backup ~]# ls /backup/
     hosts
     [root@backup ~]# ls /backup/
     etc  hosts
     如果客户端按照环境变量的方式配置，则可以忽略--password-file=/etc/rsync.password参数。
     [root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
     sending incremental file list

     sent 52,071 bytes  received 644 bytes  105,430.00 bytes/sec
     total size is 31,244,350  speedup is 592.70
     测试增量
     [root@nfs01 ~]# touch /etc/oldboy.txt
     [root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
     sending incremental file list
     etc/oldboy.txt

     sent 52,098 bytes  received 655 bytes  105,506.00 bytes/sec
     total size is 31,244,350  speedup is 592.28
    （OVER）