1、什么是实时同步
监控一个目录的变化，当触发事件时（创建，删除，修改等）就执行动作，这个动作可以是rsync同步，也可以是其他
2、为什么要实时同步
1. 能解决nfs单点故障的问题
2. 能够让本地快速切换至云端
3、实时同步的原理
借助一个通知接口，inntift.inotif监控本地主机的事件（创建，删除，修改等）
4、实时同步的场景
1.能解决nfs单点故障的问题
- 能够快速的从本地切换至云端
5、实时同步选择的工具
1.inotify + rsync 实现，写脚本来实现监控，放在后台 screen
2.sersync 实时同步
https://github.com/wsgzao/sersync
6、实时同步案例演示
规划
| 服务器 | ip地址 | 安装服务 |
|---|---|---|
| web | 10.0.0.7—172.16.1.7 | http，php |
| nfs | 10.0.0.31—172.16.1.31 | nfs-server inotify rsync sersync |
| backup | 10.0.0.41—172.16.1.41 | rsync-server nfs-server |
1）、实现web长传视频，自动存储在NFS
NFS服务端
1.安装nfs
[root@nfs ~]# yum install nfs-utils -y
2.配置
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
3.根据配置初始化环境
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/
4.重新启动nfs服务
[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# systemctl enable nfs-server
WEB服务端操作: 10.0.0.7 172.16.1.7
1.安装httpd php
[root@web01 ~]# yum install httpd php -y
2.配置httpd php
3.启动httpd
[root@web01 ~]# systemctl start httpd
4.模拟测试
[root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html (可以不测试)
WEB进行挂载,上传代码:
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web01 ~]# cd /var/www/html
[root@web01 ~]# rz kaoshi.zip
[root@web01 ~]# unzip kaoshi.zip
用户通过前端的web页面上传视频
如果上传出现错误:请检查日志
[root@web01 html]# tail -f /var/log/httpd/error_log
2）当NFS的目录发生变化,则触发同步? (实时同步)
1.怎么监控/data? inotify
2.同步给谁rsync ---> backup服务器 [backup模块] [data模块]
rsync服务 10.0.0.41 172.16.1.41
1.安装rsync
[root@backup ~]# yum install rsync -y
2.配置rsync
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#############################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
path = /data
3.根据rsync配置初始化环境
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# mkdir /backup /data -p
[root@backup ~]# chown -R rsync.rsync /backup/ /data/
4.启动rsync
[root@backup ~]# systemctl restart rsyncd
[root@backup ~]# systemctl enable rsyncd
3）nfs服务配置 10.0.0.31 172.16.1.31
1.安装rsync inotify
[root@nfs ~]# yum install rsync inotify-tools -y
2.安装sersync ( rsync inotify )
[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
[root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
3.配置相关文件（具体配置按照3.3）
[root@nfs/usr/local/rersync]# vim confxml.xml
4.查看文件类型
[root@nfs ~]# file /usr/local/sersync/confxml.xml
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass
3.启动sersync
[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
4.建议: 手动执行该命令测试是否ok,这样方便排查问题
[root@nfs ~]# cd /data && rsync -avz -R --delete ./ --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass
3.3 usr/local/rersync/confxml.xml 根据相关需求进行配置
[root@nfs-31/usr/local/rersync]# vim confxml.xml
5 <fileSystem xfs="true"/> <-- 文件系统 -->
6 <filter start="false"> <-- 排除不想同步的文件-->
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
12 <inotify> <-- 监控的事件类型 -->
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="true"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
23 <sersync>
24 <localpath watch="/data"> <-- 监控的目录 -->
25 <remote ip="172.16.1.41" name="data"/> <-- backup的IP以及模块 -->
28 </localpath>
29 <rsync> <-- rsync的选项 -->
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="true" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
35 </rsync>
<-- 每60分钟执行一次同步-->
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><--def
ault every 60mins execute once-->
7.模拟NFS故障, web可以快速的切换到backup的NFS服务上?
1.backup的权限是否和NFS的权限一致?
2.backup上是否配置NFS服务? 是否共享了/data目录?
3.模拟NFS故障,实现切换?
解决方案
1.backup的权限是否和NFS的权限一致? 10.0.0.41 172.16.1.41
1修改如下内容:
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
.....
创建用户
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -g666 -u666 www
修改权限
[root@backup ~]# chown -R www.www /data/ /backup/
重启服务
[root@backup ~]# systemctl restart rsyncd
2.backup服务器上是否配置NFS服务? 是否共享了/data目录?
安装NFS
[root@backup ~]# yum install nfs-utils -y
配置NFS
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# chown -R www.www /data/
启动NFS
[root@backup ~]# systemctl enable nfs-server
[root@backup ~]# systemctl start nfs-server
3.模拟NFS故障,实现切换?
[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html
基于sersync海量文件实时同步
