今日内容:
1.什么是实时同步
只要当前目录发生变化则会触发一个事件,事件触发后将变化的目录同步至远程服务器
2.实时同步的原理
实时同步需要借助inotify通知接口,用来监控本地目录的变化,如果监控本地的目录发生变更则触发动作这个动作可以是进行同步操作,或者其他操作。
3.实时同步场景
场景一:解决nfs单点故障保证同步的数据连续性
场景二:本地无缝迁移云端
4.实时同步工具
sersync
5.实时同步的案例 (web + nfs +sersync +backup)
案例实现所需环境
服务器名称 | 服务器ip地址(NAT) | 服务器ip地址(LAN) |
---|---|---|
web | 10.0.0.7 | 172.16.1.7 |
nfs | 10.0.0.31 | 172.16.1.31 |
backup | 10.0.0.41 | 172.16.1.41 |
web服务器的操作
1.搭建web服务器,部署网盘项目然后测试上传视频
进程以咋样的方式去访问这个目录取决于这个进程运行的身份对这个目录所拥有的权限
httpd这个进程以apache的身份去访问index-php目录取决于httpd这个进程运行的apach身份对这个index-php目录所拥有的权限
1)创建用户
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u666 -g666 www
2)安装软件
[root@web01 ~]# yum install httpd php php-mbstring php-gd -y
3)修改httpd.conf的配置,将用户运行的进程修改为www
[root@web01 ~]# sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf
[root@web01 ~]# sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf
4)重启Httpd进程
[root@web01 ~]# systemctl restart httpd
[root@web01 ~]# ps aux|grep httpd
root 44986 0.5 1.2 310456 12000 ? Ss 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44987 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44988 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44989 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44990 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44991 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
5)上传代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# wget http://static.kodcloud.com/update/download/kodexplorer4.40.zip
[root@web01 html]# unzip kodexplorer4.40.zip
[root@web01 html]# chown -R www.www /var/www/html/
2.捕获上传的静态资源所存放的位置
/var/www/html/data/User/admin/home
NFS服务器的操作
3.安装配置NFS服务,将web静态资源存放的位置 挂载到NFS的共享目录中
1)安装nfs服务端
[root@nfs ~]# yum install nfs-utils -y
2)配置nfs服务端
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
3)创建UID、GID为666的用户
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www
4)创建对外共享的目录 ( 空间要大,可以是一个新挂载的存储盘 )
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data
5)重启NFS服务
[root@nfs ~]# systemctl restart nfs
在web节点上,将静态资源目录的数据推送到NFS存储上。
[root@web01 html]# cd /var/www/html/data/User/admin/home/
[root@web01 home]# scp -rp * root@172.16.1.31:/data在web节点上,执行挂载操作。
[root@web01 admin]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/
4.再次进行上传,检测上传的资源是否已经成功写入NFS存储中
[root@nfs ~]# ll /data
-rw-r--r-- 1 www www 112114508 4月 17 09:48 05 老男孩教育-标杆班级-NFS总结.mp4
-rw-r--r-- 1 www www 101872284 4月 17 09:57 06 老男孩教育-标杆班级-NFS练习.mp4
drwxr-xr-x 2 www www 210 4月 17 09:46 desktop
drwxr-xr-x 2 www www 6 4月 17 09:46 视频
drwxr-xr-x 2 www www 6 4月 17 09:46 图片
drwxr-xr-x 2 www www 6 4月 17 09:46 我的文档
drwxr-xr-x 2 www www 6 4月 17 09:46 音乐
NFS如果一旦故障,那么资源就会丢失,我们需要给 NFS 增加一个备用节点。
1.需要实时监控NFS的/data目录,一旦发生变化,就马上同步到Backup服务器。 需要在NFS上安装Sersync
2.Backup服务器是不是需要准备一个目录接收NFS推送过来的数据。 /data 目录
3.假设NFS故障,如何快速将Backup顶用起来。需要Backup也做成一个NFS服务端,共享/data目录。
Backup服务器:(NFS到backup的守护进程)
1)安装rsync
[root@backup ~]# yum install rsync -y
2)配置rsync
[root@backup ~]# cat /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
path = /data
3)根据配置完成对应初始化操作
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -u 666 -g666 www
[root@backup ~]# mkdir /backup /data
[root@backup ~]# chown -R www.www /backup/ /data/
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# echo "123456" > /etc/rsync.pass
4)重启Rsync服务
[root@backup ~]# systemctl restart rsyncd
5)为backup服务器,启动NFS共享存储服务。
[root@backup ~]# yum install nfs-utils -y
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# systemctl enable nfs
sys[root@backup ~]# systemctl start nfs
配置NFS实时同步,需要监控NFS的/data目录
1.下载并解压sersync软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# mv GNU-Linux-x86/ /usr/local/sersync
2.修改配置文件
vim /usr/local/sersync/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
<sersync>
<localpath watch="/data">
<remote ip="172.16.1.41" name="data"/>
</localpath>
<rsync>
<commonParams params="-avz"/>
<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="true" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
启动 配置文件
[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
NFS故障了,如何实现切换?
2.web切换操作
[root@web01 ~]# umount -lf /var/www/html/data/User/admin/home && mount -t nfs 172.16.1.41:/data /var/www/html/data/User/admin/home