Sersync的实时同步

今日内容:

1.什么是实时同步

只要当前目录发生变化则会触发一个事件,事件触发后将变化的目录同步至远程服务器

2.实时同步的原理

实时同步需要借助inotify通知接口,用来监控本地目录的变化,如果监控本地的目录发生变更则触发动作这个动作可以是进行同步操作,或者其他操作。

3.实时同步场景

场景一:解决nfs单点故障保证同步的数据连续性

场景二:本地无缝迁移云端

4.实时同步工具

sersync

5.实时同步的案例 (web + nfs +sersync +backup)

案例实现所需环境

服务器名称 服务器ip地址(NAT) 服务器ip地址(LAN)
web 10.0.0.7 172.16.1.7
nfs 10.0.0.31 172.16.1.31
backup 10.0.0.41 172.16.1.41

web服务器的操作

1.搭建web服务器,部署网盘项目然后测试上传视频

进程以咋样的方式去访问这个目录取决于这个进程运行的身份对这个目录所拥有的权限

httpd这个进程以apache的身份去访问index-php目录取决于httpd这个进程运行的apach身份对这个index-php目录所拥有的权限

1)创建用户
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u666 -g666 www

2)安装软件
[root@web01 ~]# yum install httpd php php-mbstring php-gd -y

3)修改httpd.conf的配置,将用户运行的进程修改为www
[root@web01 ~]# sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf
[root@web01 ~]# sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf

4)重启Httpd进程
[root@web01 ~]# systemctl restart httpd
[root@web01 ~]# ps aux|grep httpd
root 44986 0.5 1.2 310456 12000 ? Ss 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44987 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44988 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44989 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44990 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND
www 44991 0.0 0.6 312540 6396 ? S 09:42 0:00 /usr/sbin/httpd -DFOREGROUND

5)上传代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# wget http://static.kodcloud.com/update/download/kodexplorer4.40.zip
[root@web01 html]# unzip kodexplorer4.40.zip
[root@web01 html]# chown -R www.www /var/www/html/

2.捕获上传的静态资源所存放的位置

/var/www/html/data/User/admin/home

NFS服务器的操作

3.安装配置NFS服务,将web静态资源存放的位置 挂载到NFS的共享目录中

1)安装nfs服务端
[root@nfs ~]# yum install nfs-utils -y

2)配置nfs服务端
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

3)创建UID、GID为666的用户
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www

4)创建对外共享的目录 ( 空间要大,可以是一个新挂载的存储盘 )
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data

5)重启NFS服务
[root@nfs ~]# systemctl restart nfs

  1. 在web节点上,将静态资源目录的数据推送到NFS存储上。
    [root@web01 html]# cd /var/www/html/data/User/admin/home/
    [root@web01 home]# scp -rp * root@172.16.1.31:/data

  2. 在web节点上,执行挂载操作。
    [root@web01 admin]# mount -t nfs 172.16.1.31:/data /var/www/html/data/User/admin/home/

4.再次进行上传,检测上传的资源是否已经成功写入NFS存储中

[root@nfs ~]# ll /data
-rw-r--r-- 1 www www 112114508 4月 17 09:48 05 老男孩教育-标杆班级-NFS总结.mp4
-rw-r--r-- 1 www www 101872284 4月 17 09:57 06 老男孩教育-标杆班级-NFS练习.mp4
drwxr-xr-x 2 www www 210 4月 17 09:46 desktop
drwxr-xr-x 2 www www 6 4月 17 09:46 视频
drwxr-xr-x 2 www www 6 4月 17 09:46 图片
drwxr-xr-x 2 www www 6 4月 17 09:46 我的文档
drwxr-xr-x 2 www www 6 4月 17 09:46 音乐

NFS如果一旦故障,那么资源就会丢失,我们需要给 NFS 增加一个备用节点。

1.需要实时监控NFS的/data目录,一旦发生变化,就马上同步到Backup服务器。 需要在NFS上安装Sersync
2.Backup服务器是不是需要准备一个目录接收NFS推送过来的数据。  /data 目录
3.假设NFS故障,如何快速将Backup顶用起来。需要Backup也做成一个NFS服务端,共享/data目录。

Backup服务器:(NFS到backup的守护进程)

1)安装rsync
[root@backup ~]# yum install rsync -y

2)配置rsync
[root@backup ~]# cat /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data]
path = /data

3)根据配置完成对应初始化操作
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -u 666 -g666 www
[root@backup ~]# mkdir /backup /data
[root@backup ~]# chown -R www.www /backup/ /data/

[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd

[root@backup ~]# chmod 600 /etc/rsync.passwd

[root@backup ~]# echo "123456" > /etc/rsync.pass

4)重启Rsync服务
[root@backup ~]# systemctl restart rsyncd

5)为backup服务器,启动NFS共享存储服务。
[root@backup ~]# yum install nfs-utils -y
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

[root@backup ~]# systemctl enable nfs
sys[root@backup ~]# systemctl start nfs

配置NFS实时同步,需要监控NFS的/data目录

1.下载并解压sersync软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# mv GNU-Linux-x86/ /usr/local/sersync

2.修改配置文件

 vim /usr/local/sersync/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="true"/>
    <modify start="true"/>
    </inotify>

    <sersync>
    <localpath watch="/data">
        <remote ip="172.16.1.41" name="data"/>
    </localpath>
    <rsync>
        <commonParams params="-avz"/>
        <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        <timeout start="true" time="100"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

启动 配置文件

[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

NFS故障了,如何实现切换?

2.web切换操作
[root@web01 ~]# umount -lf /var/www/html/data/User/admin/home && mount -t nfs 172.16.1.41:/data /var/www/html/data/User/admin/home

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容