1、同步目的服務器作為服務端搭建rsync
centos7: 一般已經(jīng)自帶rsync服務,可以直接使用
修改配置文件:
cat /etc/rsyncd.conf
### rsyncd.conf 文件的配置
# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.
# 傳輸文件使用的用戶和用戶組,如果是從服務器=>客戶端,要保證用戶對文件有讀取的權限;如果是從客戶端=>服務端,要保證用戶對文件有寫權限。
uid = root
gid = root
# 允許chroot,提升安全性,客戶端連接模塊,首先chroot到模塊path參數(shù)指定的目錄下,chroot為yes時必須使用root權限,且不能備份path路徑外的鏈接文件
use chroot = yes
# read only =no #只讀為假(可寫)
read only = no
# 只寫
write only = no
# 設定白名單,可以指定IP段(172.xx.xx.1/255.255.255.0),各個Ip段用空格分開
hosts allow = *
# 設置黑名單
#hosts deny = *
# 允許的客戶端最大連接數(shù),根據(jù)最多一次性同步的agent數(shù)量設置
max connections = 10
# rsync監(jiān)聽端口
port = 888
# IP地址,啟動rsync報錯failed: Cannot assign requested address (address-family 2) unable to bind any inbound sockets on port 873,把rsyncd.conf中的address改為127.0.0.1
#address = 127.0.0.1
# 歡迎(同步過程中展示的提示)文件的路徑,非必須
#motd file = /etc/rsync/rsyncd.motd
# 進程對應的進程號pid文件路徑
pid file = /var/run/rsyncd.pid
# 鎖文件路徑
#lock file = /data/rsync/rsyncd.lock
# 記錄傳輸文件日志
transfer logging = yes
# 日志文件格式
log format = %t %a %m %f %b
# 指定日志文件
log file = /var/log/rsync.log
# 剔除某些文件或目錄,不同步
#exclude = lost+found/
# 設置超時時間
timeout = 900
ignore nonreadable = yes
# 設置不需要壓縮的文件
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# 忽略錯誤
ignore errors
# 添加注釋
comment = just test
# 模塊驗證的用戶名稱,可使用空格或者逗號隔開多個用戶名
auth users = rsync1
# 模塊驗證密碼文件 可放在全局配置里
secrets file = /etc/rsyncd.passwd
# 模塊名稱,同步時可以根據(jù)配置的模塊名稱找到要同步模塊的目錄,可以配置多個,使用如: sate@192.xx.xx.xxx::source
[cv]
# cv模塊的根目錄,同步目錄,要注意權限
path = /home/cv
# 是否允許列出模塊內(nèi)容
list = yes
rsync設置的認證用戶是rsync1,因此需要創(chuàng)建密碼認證文件 /etc/rsyncd.passwd 并寫入用戶名密碼:
cat /etc/rsyncd.passwd
rsync1:123456
修改密碼文件權限為600
chmod 600 /etc/rsyncd.passwd
啟動:
systemctl start rsyncd
2、客戶端,也就是需要同步的服務器上,安裝inotify-tools工具。監(jiān)控文件的更改事件。使用腳本同步僅發(fā)生改變的文件,而非每次都全量掃描和同步。
yum -y install inotify-tools
創(chuàng)建rsync認證服務端的密碼文件,只需密碼即可不需要賬號:
echo "123456" > /etc/rsyncd.passwd
修改密碼文件權限為600
chmod 600 /etc/rsyncd.passwd
3、執(zhí)行同步腳本,在需要同步的源服務器上運行,文件會同步到目標服務器上。
遠程shell模式腳本如下,遠程shell模式下,不需要配置啟動rsyncd服務:
#!/bin/bash
src=/home/rsync/ # 需要同步的源路徑
des=/home/rsync # 目標服務器上的路徑。
#rsync_passwd_file=/etc/rsyncd.passwd # rsync驗證的密碼文件
ip1="192.168.1.2" # 目標服務器1
user=root # ssh驗證用戶名
cd ${src} # 此方法中,由于rsync同步的特性,這里必須要先cd到源目錄,inotify再監(jiān)聽 ./ 才能rsync同步后目錄結構一致,有興趣的同學可以進行各種嘗試觀看其效果
inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file # 把監(jiān)控到有發(fā)生更改的"文件路徑列表"循環(huán)
do
INO_EVENT=$(echo $file | awk '{print $1}') # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT
INO_FILE=$(echo $file | awk '{print $2}') # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE
echo "-------------------------------$(date)------------------------------------"
echo $file
#增加、修改、寫入完成、移動進事件
#增、改放在同一個判斷,因為他們都肯定是針對文件的操作,即使是新建目錄,要同步的也只是一個空目錄,不會影響速度。
if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]] # 判斷事件類型
then
echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
rsync -avzcR $(dirname ${INO_FILE}) -e "ssh -p 626" $user@$ip1:$des # INO_FILE變量代表路徑哦 -c校驗文件內(nèi)容
#仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發(fā)生改變的文件的目錄(只同步目標文件的方法在生產(chǎn)環(huán)境的某些極端環(huán)境下會漏文件 現(xiàn)在可以在不漏文件下也有不錯的速度 做到平衡) 然后用-R參數(shù)把源的目錄結構遞歸到目標后面 保證目錄結構一致性
fi
#刪除、移動出事件
if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
then
echo 'DELETE or MOVED_FROM'
rsync -avzR --delete $(dirname ${INO_FILE}) -e "ssh -p 626" $user@$ip1:$des
#看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這里同步的源是被刪文件或目錄的上一級路徑,并加上--delete來刪除目標上有而源中沒有的文件,這里不能做到指定文件刪除,如果刪除的路徑越靠近根,則同步的目錄月多,同步刪除的操作就越花時間。這里有更好方法的同學,歡迎交流。
fi
#修改屬性事件 指 touch chgrp chmod chown等操作
if [[ $INO_EVENT =~ 'ATTRIB' ]]
then
echo 'ATTRIB'
if [ ! -d "$INO_FILE" ] # 如果修改屬性的是目錄 則不同步,因為同步目錄會發(fā)生遞歸掃描,等此目錄下的文件發(fā)生同步時,rsync會順帶更新此目錄。
then
rsync -avzcR $(dirname ${INO_FILE}) -e "ssh -p 626" $user@$ip:$des
fi
fi
done
rsync-daemon模式腳本如下,此模式下需配置啟動rsyncd服務:
#!/bin/bash
src=/home/rsync/ # 需要同步的源路徑
des=cv # 目標服務器上 rsync --daemon 發(fā)布的名稱,rsync --daemon這里就不做介紹了,網(wǎng)上搜一下,比較簡單。
rsync_passwd_file=/etc/rsyncd.passwd # rsync驗證的密碼文件
ip1="192.168.1.2" # 目標服務器1
user=rsync1 # rsync --daemon定義的驗證用戶名
cd ${src} # 此方法中,由于rsync同步的特性,這里必須要先cd到源目錄,inotify再監(jiān)聽 ./ 才能rsync同步后目錄結構一致,有興趣的同學可以進行各種嘗試觀看其效果
inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file # 把監(jiān)控到有發(fā)生更改的"文件路徑列表"循環(huán)
do
INO_EVENT=$(echo $file | awk '{print $1}') # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT
INO_FILE=$(echo $file | awk '{print $2}') # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE
echo "-------------------------------$(date)------------------------------------"
echo $file
#增加、修改、寫入完成、移動進事件
#增、改放在同一個判斷,因為他們都肯定是針對文件的操作,即使是新建目錄,要同步的也只是一個空目錄,不會影響速度。
if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]] # 判斷事件類型
then
echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
rsync -avzcRP --port 888 $(dirname ${INO_FILE}) $user@$ip1::$des --password-file=/etc/rsyncd.passwd # INO_FILE變量代表路徑哦 -c校驗文件內(nèi)容
#仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發(fā)生改變的文件的目錄(只同步目標文件的方法在生產(chǎn)環(huán)境的某些極端環(huán)境下會漏文件 現(xiàn)在可以在不漏文件下也有不錯的速度 做到平衡) 然后用-R參數(shù)把源的目錄結構遞歸到目標后面 保證目錄結構一致性
fi
#刪除、移動出事件
if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
then
echo 'DELETE or MOVED_FROM'
rsync -avzRP --delete --port 888 $(dirname ${INO_FILE}) $user@$ip1::$des --password-file=/etc/rsyncd.passwd
#看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這里同步的源是被刪文件或目錄的上一級路徑,并加上--delete來刪除目標上有而源中沒有的文件,這里不能做到指定文件刪除,如果刪除的路徑越靠近根,則同步的目錄月多,同步刪除的操作就越花時間。這里有更好方法的同學,歡迎交流。
fi
#修改屬性事件 指 touch chgrp chmod chown等操作
if [[ $INO_EVENT =~ 'ATTRIB' ]]
then
echo 'ATTRIB'
if [ ! -d "$INO_FILE" ] # 如果修改屬性的是目錄 則不同步,因為同步目錄會發(fā)生遞歸掃描,等此目錄下的文件發(fā)生同步時,rsync會順帶更新此目錄。
then
rsync -avzcRP --port 888 $(dirname ${INO_FILE}) $user@$ip1::$des --password-file=/etc/rsyncd.passwd
fi
fi
done