1.什么是實時同步
監(jiān)控一個目錄的變化, 當該目錄觸發(fā)事件(創(chuàng)建\刪除\修改)
就執(zhí)行動作, 這個動作可以是 rsync同步 ,也可以是其他.
2.為什么要實時同步
1.能解決nfs單點故障問題.? (沒什么意義)? glusterfs
2.能夠讓本地快速切換至云端.? (隨時都需要留一個后手)
3.實時同步的原理
借助一個通知接口, inotify.? inotify監(jiān)控本地主機的事件(創(chuàng)建\刪除\修改),
則通知執(zhí)行動作? 這個動作可以是 rsync同步
4.實時同步的場景
1.能解決nfs單點故障問題
? ? 2.能夠讓本地快速切換至云端
5.實時同步工具選擇
1.inotify+rsync實現(xiàn)? ? 寫腳本來實現(xiàn)監(jiān)控? 放在后臺? screen?
1.腳本 (不適合)
2.同步
2.sersync實時同步 (*)?
3.lsyncd (* 虎升 )
https://github.com/wsgzao/sersync
6.實時同步案例演示
規(guī)劃:
web 10.0.0.7 172.16.1.7 httpd\php
nfs 10.0.0.31 172.16.1.31 nfs-server? inotify rsync sersync
backup 10.0.0.41 172.16.1.41 rsync-server? nfs-server
-----------------------------------------------------------------
1.實現(xiàn)web上傳視頻,自動存儲至NFS?
-----------------------------------------------------------------
NFS服務端: 10.0.0.31? 172.16.1.31
1.安裝nfs
[root@nfs ~]# yum install nfs-utils -y
2.配置
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
3.根據(jù)配置初始化環(huán)境
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/
4.重新啟動nfs服務
[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# systemctl enable? nfs-server
WEB服務端操作: 10.0.0.7? 172.16.1.7
1.安裝httpd php
[root@web01 ~]# yum install httpd php -y
2.配置httpd php
3.啟動httpd
[root@web01 ~]# systemctl start httpd
4.模擬測試
[root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html (可以不測試)
WEB進行掛載,上傳代碼:
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web01 ~]# cd /var/www/html
[root@web01 ~]# rz kaoshi.zip
[root@web01 ~]# unzip kaoshi.zip
用戶通過前端的web頁面上傳視頻
如果上傳出現(xiàn)錯誤:請檢查日志
[root@web01 html]# tail -f /var/log/httpd/error_log
-----------------------------------------------------------------
2.當NFS的目錄發(fā)生變化,則觸發(fā)同步? (實時同步)
1.怎么監(jiān)控/data?? inotify
2.同步給誰rsync? ---> backup服務器? [backup模塊] [data模塊]
-----------------------------------------------------------------
1.rsync服務 10.0.0.41 172.16.1.41
安裝rsync
[root@backup ~]# yum install rsync -y
配置rsync
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
path = /data
根據(jù)rsync配置初始化環(huán)境
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# mkdir /backup /data -p
[root@backup ~]# chown -R rsync.rsync /backup/ /data/
啟動rsync
[root@backup ~]# systemctl restart rsyncd
[root@backup ~]# systemctl enable rsyncd
2.nfs服務配置 10.0.0.31 172.16.1.31
1.安裝rsync inotify
[root@nfs ~]# yum install rsync inotify-tools -y
2.安裝sersync? ( rsync inotify )
[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
[root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
[root@nfs ~]# file /usr/local/sersync/confxml.xml
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass
文件校驗請查看@1
3.啟動sersync
[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml
4.建議: 手動執(zhí)行該命令測試是否ok,這樣方便排查問題
[root@nfs ~]# cd /data && rsync -avz -R --delete ./? --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass
-----------------------------------------------------------------
3.模擬NFS故障,? web可以快速的切換到backup的NFS服務上?
1.backup的權(quán)限是否和NFS的權(quán)限一致?
2.backup上是否配置NFS服務?? 是否共享了/data目錄?
3.模擬NFS故障,實現(xiàn)切換?
-----------------------------------------------------------------
故障模擬
web01客戶機掛載的是nfs的/data 目錄 ，此時在本地創(chuàng)建一千個文件
NFS服務端，停止服務（發(fā)生故障）則web01 卡主了。
1.backup的權(quán)限是否和NFS的權(quán)限一致? 10.0.0.41 172.16.1.41
修改如下內(nèi)容:
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
.....
創(chuàng)建用戶
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -g666 -u666 www
修改權(quán)限
[root@backup ~]# chown -R www.www /data/ /backup/
重啟服務
[root@backup ~]# systemctl restart rsyncd
2.backup服務器上是否配置NFS服務? 是否共享了/data目錄?
安裝NFS
[root@backup ~]# yum install nfs-utils -y
配置NFS
[root@backup ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# chown -R www.www /data/
啟動NFS
[root@backup ~]# systemctl enable nfs-server
[root@backup ~]# systemctl start nfs-server
3.模擬NFS故障,實現(xiàn)切換?
[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html
數(shù)據(jù)已經(jīng)從backup上共享出來了
注：@1
[root@nfs01 sersync]# vim confxml.xml
? 5? ? <fileSystem xfs="true"/>? <!-- 文件系統(tǒng) -->
? 6? ? <filter start="false">? <!-- 排除不想同步的文件-->
? 7? ? ? ? <exclude expression="(.*)\.svn"></exclude>
? 8? ? ? ? <exclude expression="(.*)\.gz"></exclude>
? 9? ? ? ? <exclude expression="^info/*"></exclude>
10? ? ? ? <exclude expression="^static/*"></exclude>
11? ? </filter>
12? ? <inotify> <!-- 監(jiān)控的事件類型 -->
13? ? ? ? <delete start="true"/>
14? ? ? ? <createFolder start="true"/>
15? ? ? ? <createFile start="true"/>
16? ? ? ? <closeWrite start="true"/>
17? ? ? ? <moveFrom start="true"/>
18? ? ? ? <moveTo start="true"/>
19? ? ? ? <attrib start="false"/>
20? ? ? ? <modify start="false"/>
21? ? </inotify>
23? ? <sersync>
24? ? ? ? <localpath watch="/data"> <!-- 監(jiān)控的目錄 -->
25? ? ? ? ? ? <remote ip="172.16.1.41" name="data"/>? <!-- backup的IP以及模塊 -->
28? ? ? ? </localpath>
29? ? ? ? <rsync> <!-- rsync的選項 -->
30? ? ? ? ? ? <commonParams params="-az"/>
31? ? ? ? ? ? <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
32? ? ? ? ? ? <userDefinedPort start="false" port="874"/><!-- port=874 -->
33? ? ? ? ? ? <timeout start="true" time="100"/><!-- timeout=100 -->
34? ? ? ? ? ? <ssh start="false"/>
35? ? ? ? </rsync>
? ? ? ? ? ? <!-- 每60分鐘執(zhí)行一次同步-->
? 36? ? ? ? <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
? ? ault every 60mins execute once-->
