Rsync+Inotify-tools 實(shí)時(shí)同步

說(shuō)明:

操作系統(tǒng):CentOS 5.X

源服務(wù)器:192.168.21.129

目標(biāo)服務(wù)器:192.168.21.127,192.168.21.128

目的:把源服務(wù)器上/home/www.test.com目錄實(shí)時(shí)同步到目標(biāo)服務(wù)器的/home/www.test.com下

具體操作:

第一部分:分別在兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128上操作

一、分別在兩臺(tái)在目標(biāo)服務(wù)器安裝Rsync服務(wù)端

1、關(guān)閉SELINUX

vi /etc/selinux/config#編輯防火墻配置文件

#SELINUX=enforcing#注釋掉

#SELINUXTYPE=targeted#注釋掉

SELINUX=disabled#增加

:wq!#保存,退出

setenforce 0#立即生效

2、開(kāi)啟防火墻tcp 873端口(Rsync默認(rèn)端口)

vi /etc/sysconfig/iptables#編輯防火墻配置文件

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT

:wq!#保存,退出

/etc/init.d/iptables restart#最后重啟防火墻使配置生效

3、安裝Rsync服務(wù)端軟件

yum install rsync xinetd#安裝

vi /etc/xinetd.d/rsync#編輯配置文件,設(shè)置開(kāi)機(jī)啟動(dòng)rsync

disable = no#修改為no

:wq!#保存退出

/etc/init.d/xinetd start#啟動(dòng)(CentOS中是以xinetd來(lái)管理Rsync服務(wù)的)

4、創(chuàng)建rsyncd.conf配置文件

vi /etc/rsyncd.conf#創(chuàng)建配置文件,添加以下代碼

log file = /var/log/rsyncd.log#日志文件位置,啟動(dòng)rsync后自動(dòng)產(chǎn)生這個(gè)文件,無(wú)需提前創(chuàng)建

pidfile = /var/run/rsyncd.pid#pid文件的存放位置

lock file = /var/run/rsync.lock#支持max connections參數(shù)的鎖文件

secrets file = /etc/rsync.pass#用戶認(rèn)證配置文件,里面保存用戶名稱(chēng)和密碼,后面會(huì)創(chuàng)建這個(gè)文件

motd file = /etc/rsyncd.Motd#rsync啟動(dòng)時(shí)歡迎信息頁(yè)面文件位置(文件內(nèi)容自定義)

[home_www.test.com]#自定義名稱(chēng)

path = /home/www.test.com/#rsync服務(wù)端數(shù)據(jù)目錄路徑

comment = home_www.test.com#模塊名稱(chēng)與[home_www.test.com]自定義名稱(chēng)相同

uid = root#設(shè)置rsync運(yùn)行權(quán)限為root

gid = root#設(shè)置rsync運(yùn)行權(quán)限為root

port=873#默認(rèn)端口

use chroot = no#默認(rèn)為true,修改為no,增加對(duì)目錄文件軟連接的備份

read only = no#設(shè)置rsync服務(wù)端文件為讀寫(xiě)權(quán)限

list = no#不顯示rsync服務(wù)端資源列表

max connections = 200#最大連接數(shù)

timeout = 600#設(shè)置超時(shí)時(shí)間

auth users = home_www.test.com_user#執(zhí)行數(shù)據(jù)同步的用戶名,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)

hosts allow = 192.168.21.129#允許進(jìn)行數(shù)據(jù)同步的客戶端IP地址,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)

hosts deny = 192.168.21.254#禁止數(shù)據(jù)同步的客戶端IP地址,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)

:wq!#保存,退出

5、創(chuàng)建用戶認(rèn)證文件

vi /etc/rsync.pass#配置文件,添加以下內(nèi)容

home_www.test.com_user:123456#格式,用戶名:密碼,可以設(shè)置多個(gè),每行一個(gè)用戶名:密碼

:wq!#保存,退出

6、設(shè)置文件權(quán)限

chmod 600 /etc/rsyncd.conf#設(shè)置文件所有者讀取、寫(xiě)入權(quán)限

chmod 600 /etc/rsync.pass#設(shè)置文件所有者讀取、寫(xiě)入權(quán)限

7、啟動(dòng)rsync

/etc/init.d/xinetd start#啟動(dòng)

service xinetd stop#停止

service xinetd restart#重新啟動(dòng)

第二部分:在源服務(wù)器192.168.21.129上操作

一、安裝Rsync客戶端

1、關(guān)閉SELINUX

vi /etc/selinux/config#編輯防火墻配置文件

#SELINUX=enforcing#注釋掉

#SELINUXTYPE=targeted#注釋掉

SELINUX=disabled#增加

:wq!#保存,退出

setenforce 0#立即生效

2、開(kāi)啟防火墻tcp 873端口(Rsync默認(rèn)端口,做為客戶端的Rsync可以不用開(kāi)啟873端口)

vi /etc/sysconfig/iptables#編輯防火墻配置文件

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT

:wq!#保存,退出

/etc/init.d/iptables restart#最后重啟防火墻使配置生效

3、安裝Rsync客戶端軟件

whereis rsync#查看系統(tǒng)是否已安裝rsync,出現(xiàn)下面的提示,說(shuō)明已經(jīng)安裝

rsync: /usr/bin/rsync /usr/share/man/man1/rsync.1.gz

yum install? xinetd#只安裝xinetd即可,CentOS中是以xinetd來(lái)管理rsync服務(wù)的

yum install rsync xinetd#如果默認(rèn)沒(méi)有rsync,運(yùn)行此命令進(jìn)行安裝rsync和xinetd

vi /etc/xinetd.d/rsync#編輯配置文件,設(shè)置開(kāi)機(jī)啟動(dòng)rsync

disable = no#修改為

/etc/init.d/xinetd start#啟動(dòng)(CentOS中是以xinetd來(lái)管理rsync服務(wù)的)

4、創(chuàng)建認(rèn)證密碼文件

vi /etc/passwd.txt#編輯文件,添加以下內(nèi)容

123456#密碼

:wq!#保存退出

chmod 600 /etc/passwd.txt#設(shè)置文件權(quán)限,只設(shè)置文件所有者具有讀取、寫(xiě)入權(quán)限即可

5、測(cè)試源服務(wù)器192.168.21.129到兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128之間的數(shù)據(jù)同步

mkdir /home/www.test.com/ceshi#在源服務(wù)器上創(chuàng)建測(cè)試文件夾,然后在源服務(wù)器運(yùn)行下面2行命令

rsync -avH --port=873 --progress --delete? /home/www.test.com/? home_www.test.com_user@192.168.21.127::home_www.test.com --password-file=/etc/passwd.txt

rsync -avH --port=873 --progress --delete? /home/www.test.com/? home_www.test.com_user@192.168.21.128::home_www.test.com --password-file=/etc/passwd.txt

運(yùn)行完成后,分別在兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128上查看,在/home/www.test.com目錄下有ceshi文件夾,說(shuō)明數(shù)據(jù)同步成功。

二、安裝Inotify-tools工具,實(shí)時(shí)觸發(fā)rsync進(jìn)行同步

1、查看服務(wù)器內(nèi)核是否支持inotify

ll /proc/sys/fs/inotify#列出文件目錄,出現(xiàn)下面的內(nèi)容,說(shuō)明服務(wù)器內(nèi)核支持inotify

-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_queued_events

-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_user_instances

-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_user_watches

備注:Linux下支持inotify的內(nèi)核最小為2.6.13,可以輸入命令:uname -a查看內(nèi)核

CentOS 5.X 內(nèi)核為2.6.18,默認(rèn)已經(jīng)支持inotify

2、安裝inotify-tools

yum install make? gcc gcc-c++#安裝編譯工具

inotify-tools下載地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

上傳inotify-tools-3.14.tar.gz到/usr/local/src目錄下

cd /usr/local/src

tar zxvf inotify-tools-3.14.tar.gz#解壓

cd inotify-tools-3.14#進(jìn)入解壓目錄

./configure --prefix=/usr/local/inotify#配置

make#編譯

make install#安裝

3、設(shè)置系統(tǒng)環(huán)境變量,添加軟連接

echo "PATH=/usr/local/inotify/bin:$PATH" >>/etc/profile.d/inotify.sh

source /etc/profile.d/inotify.sh#使設(shè)置立即生效

echo "/usr/local/inotify/lib" >/etc/ld.so.conf.d/inotify.conf

ln -s /usr/local/inotify/include? /usr/include/inotify

4、修改inotify默認(rèn)參數(shù)(inotify默認(rèn)內(nèi)核參數(shù)值太小)

查看系統(tǒng)默認(rèn)參數(shù)值

sysctl -a | grep max_queued_events

結(jié)果是:fs.inotify.max_queued_events = 16384

sysctl -a | grep max_user_watches

結(jié)果是:fs.inotify.max_user_watches = 8192

sysctl -a | grep max_user_instances

結(jié)果是:fs.inotify.max_user_instances = 128

修改參數(shù):

sysctl -w fs.inotify.max_queued_events="99999999"

sysctl -w fs.inotify.max_user_watches="99999999"

sysctl -w fs.inotify.max_user_instances="65535"

vi /etc/sysctl.conf#添加以下代碼

fs.inotify.max_queued_events=99999999

fs.inotify.max_user_watches=99999999

fs.inotify.max_user_instances=65535

:wq!#保存退出

參數(shù)說(shuō)明:

max_queued_events:

inotify隊(duì)列最大長(zhǎng)度,如果值太小,會(huì)出現(xiàn)"** Event Queue Overflow **"錯(cuò)誤,導(dǎo)致監(jiān)控文件不準(zhǔn)確

max_user_watches:

要同步的文件包含多少目錄,可以用:find /home/www.test.com -type d | wc -l 統(tǒng)計(jì),必須保證max_user_watches值大于統(tǒng)計(jì)結(jié)果(這里/home/www.test.com為同步文件目錄)

max_user_instances:

每個(gè)用戶創(chuàng)建inotify實(shí)例最大值

5、創(chuàng)建腳本,實(shí)時(shí)觸發(fā)rsync進(jìn)行同步

vi /usr/local/inotify/rsync.sh#編輯,添加以下代碼

======================================

#!/bin/sh

srcdir=/home/www.test.com/

dstdir=home_www.test.com

excludedir=/usr/local/inotify/exclude.list

rsyncuser=home_www.test.com_user

rsyncpassdir=/etc/passwd.txt

dstip="192.168.21.127 192.168.21.128"

for ip in $dstip

do

rsync -avH --port=873 --progress --delete? --exclude-from=$excludedir ?$srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir

done

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $srcdir |? while read file

do

for ip in $dstip

do

rsync -avH --port=873 --progress --delete? --exclude-from=$excludedir ?$srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir

echo "? ${file} was rsynced" >> /tmp/rsync.log 2>&1

done

done

======================================

chmod +x /usr/local/inotify/rsync.sh#添加腳本執(zhí)行權(quán)限

腳本參數(shù)說(shuō)明:

srcdir=/home/www.test.com/#源服務(wù)器同步目錄

dstdir=home_www.test.com#目標(biāo)服務(wù)器rsync同步目錄模塊名稱(chēng)

excludedir=/usr/local/inotify/exclude.list

#不需要同步的目錄,如果有多個(gè),每一行寫(xiě)一個(gè)目錄,使用相對(duì)于同步模塊的路徑;

#例如:不需要同步/home/www.test.com/目錄下的a目錄和b目錄下面的b1目錄,exclude.list文件可以這樣寫(xiě)

a/

b/b1/

rsyncuser=home_www.test.com_user#目標(biāo)服務(wù)器rsync同步用戶名

rsyncpassdir=/etc/passwd.txt#目標(biāo)服務(wù)器rsync同步用戶的密碼在源服務(wù)器的存放路徑

dstip="192.168.21.127 192.168.21.128"#目標(biāo)服務(wù)器ip,多個(gè)ip用空格分開(kāi)

/tmp/rsync.log#腳本運(yùn)行日志記錄

6、設(shè)置腳本開(kāi)機(jī)自動(dòng)執(zhí)行

vi /etc/rc.d/rc.local#編輯,在最后添加一行

sh /usr/local/inotify/rsync.sh &#設(shè)置開(kāi)機(jī)自動(dòng)在后臺(tái)運(yùn)行腳本

:wq!#保存退出

7、測(cè)試inotify實(shí)時(shí)觸發(fā)rsync同步腳本是否正常運(yùn)行

在源服務(wù)器192.168.21.129上創(chuàng)建文件inotify_rsync_ceshi

mkdir /home/www.test.com/inotify_rsync_ceshi

重新啟動(dòng)源服務(wù)器:192.168.21.129

等系統(tǒng)啟動(dòng)之后,查看兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128的/home/www.test.com下是否有inotify_rsync_ceshi文件夾

然后再在源服務(wù)器192.168.21.129創(chuàng)建文件夾inotify_rsync_ceshi_new

mkdir /home/www.test.com/inotify_rsync_ceshi_new

繼續(xù)查看兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128的/home/www.test.com下是否有inotify_rsync_ceshi_new文件夾

如果以上測(cè)試都通過(guò),說(shuō)明inotify實(shí)時(shí)觸發(fā)rsync同步腳本運(yùn)行正常。

至此,Linux下Rsync+Inotify-tools實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步完成。

擴(kuò)展閱讀:

============================================

inotify參數(shù)

-m 是保持一直監(jiān)聽(tīng)

-r 是遞歸查看目錄

-q 是打印出事件

-e create,move,delete,modify,attrib 是指 “監(jiān)聽(tīng) 創(chuàng)建 移動(dòng) 刪除 寫(xiě)入 權(quán)限” 事件

rsync參數(shù)

============================================

-v, --verbose 詳細(xì)模式輸出

-q, --quiet 精簡(jiǎn)輸出模式

-c, --checksum 打開(kāi)校驗(yàn)開(kāi)關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)

-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD

-r, --recursive 對(duì)子目錄以遞歸模式處理

-R, --relative 使用相對(duì)路徑信息

-b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename??梢允褂?-suffix選項(xiàng)來(lái)指定不同的備份文件前綴。

--backup-dir 將備份文件(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份文件前綴

-u, --update 僅僅進(jìn)行更新,也就是跳過(guò)所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)

-l, --links 保留軟鏈結(jié)

-L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹(shù)以外的鏈結(jié)

--safe-links 忽略指向SRC路徑目錄樹(shù)以外的鏈結(jié)

-H, --hard-links 保留硬鏈結(jié)

-p, --perms 保持文件權(quán)限

-o, --owner 保持文件屬主信息

-g, --group 保持文件屬組信息

-D, --devices 保持設(shè)備文件信息

-t, --times 保持文件時(shí)間信息

-S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間

-n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸

-W, --whole-file 拷貝文件,不進(jìn)行增量檢測(cè)

-x, --one-file-system 不要跨越文件系統(tǒng)邊界

-B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)

-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步

--rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息

-C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來(lái)排除那些不希望傳輸?shù)奈募?/p>

--existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件

--delete 刪除那些DST中SRC沒(méi)有的文件

--delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件

--delete-after 傳輸結(jié)束以后再刪除

--ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除

--max-delete=NUM 最多刪除NUM個(gè)文件

--partial 保留那些因故沒(méi)有完全傳輸?shù)奈募?,以是加快隨后的再次傳輸

--force 強(qiáng)制刪除目錄,即使不為空

--numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名

--timeout=TIME IP超時(shí)時(shí)間,單位為秒

-I, --ignore-times 不跳過(guò)那些有同樣的時(shí)間和長(zhǎng)度的文件

--size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間

--modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0

-T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件

--compare-dest=DIR 同樣比較DIR中的文件來(lái)決定是否需要備份

-P 等同于 --partial

--progress 顯示備份過(guò)程

-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?/p>

--include=PATTERN 指定不排除而需要傳輸?shù)奈募J?/p>

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 綁定到特定的地址

--config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件

--port=PORT 指定其他的rsync服務(wù)端口

--blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO

-stats 給出某些文件的傳輸狀態(tài)

--progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過(guò)程

--log-format=formAT 指定日志文件格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O帶寬,KBytes per second

-h, --help 顯示幫助信息

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容