一、什么是rsync
rsync是一款開源,快速,多功能的可實現(xiàn)增量的本地或遠程的數(shù)據(jù)鏡像同步備份的優(yōu)秀工具。適用于多個平臺。從軟件名稱可以看出來是遠程同步的意思(remote sync)。可使本地主機不同分區(qū)或目錄之間及本地和遠程兩臺主機之間的數(shù)據(jù)快速同步鏡像,遠程備份等功能。
在同步備份時,默認情況下,rsync通過其獨特的“quick check”算法,僅同步大小或者最后修改時間發(fā)生變化的文件或目錄(也可根據(jù)權限,屬主等變化同步,需要制定參數(shù))。甚至是只同步一個文件里變化的內(nèi)容部分,所以可以實現(xiàn)快速的同步數(shù)據(jù)的功能。
提示:傳統(tǒng)的cp,scp工具拷貝每次均為完整拷貝,而rsync除了完整拷貝,還具備增量拷貝的功能,因此從此性能及效率上更勝一籌。
Rsync的特性如下:
1)支持拷貝特殊文件如鏈接,設備等
2)可以有排除指定文件或目錄同步的功能,相當于打包命令tar
3)可以保持原來文件或目錄的權限,時間,軟硬鏈接等所有屬性均不改變。
4)可實現(xiàn)增量同步,即只同步發(fā)生變化的數(shù)據(jù),因此數(shù)據(jù)傳輸效率更高
5)可以使用rcp,rsh,ssh等方式來配合傳輸文件,也可以通過直接的socker鏈接
6)支持匿名的或認證的進程模式傳輸,方便進行數(shù)據(jù)備份及鏡像。
[1]核心算法介紹:
假定在名為α和β的兩臺計算機之間同步相似的文件 A 與 B ,其中α對文件 A 擁有訪問權,β對文件 B 擁有訪問權。并且假定主機α與β之間的網(wǎng)絡帶寬很小。那么 rsync 算法將通過下面的五個步驟來完成:
- β將文件 B 分割成一組不重疊的固定大小為 S 字節(jié)的數(shù)據(jù)塊。最后一塊可能會比 S 小。
- β對每一個分割好的數(shù)據(jù)塊執(zhí)行兩種校驗:一種是 32 位的滾動弱校驗,另一種是 128 位的 MD4 強校驗。
- β將這些校驗結(jié)果發(fā)給α。
- α通過搜索文件 A 的所有大小為 S 的數(shù)據(jù)塊 ( 偏移量可以任選,不一定非要是 S 的倍數(shù) ) ,來尋找與文件 B 的某一塊有著相同的弱校驗碼和強校驗碼的數(shù)據(jù)塊。這項工作可以借助滾動校驗的特性很快完成。
- α發(fā)給β一串指令來生成文件 A 在β上的備份。這里的每一條指令要么是對文件 B 經(jīng)擁有某一個數(shù)據(jù)塊而不須重傳的證明,要么是一個數(shù)據(jù)塊,這個數(shù)據(jù)塊肯定是沒有與文件 B 的任何一個數(shù)據(jù)塊匹配上的。
-------------------------------------小結(jié)------------------------------------------------
rsync就是會同步我們指定的兩端目錄之間的數(shù)據(jù),這個數(shù)據(jù)可以是特殊的數(shù)據(jù)。同步之前就先進行兩端的數(shù)據(jù)的比對,只會同步兩者之間不同的部分,并保留文件原本的屬性。并且支持匿名的方式進行同步傳輸。所以rsync在備份,同步上就會較為快速。
二、軟件安裝
http://rsync.samba.org/ rsync的官方網(wǎng)站
1)編譯安裝
很簡單那就直接解壓
tar zxf rsync-3.1.0.tar.gz
cd rsync-3.1.0
./configure
make
make install
提示:服務器和客戶端均要安裝rsync
三、服務器端rsync部署
rsync的啟動
1、 守護進程啟動rsync
[root@www rsync-2.4.6]# /usr/local/bin/rsync --daemon即可啟動。
rsync默認服務端口為873,服務器在該端口接收客戶的匿名或者認證方式的請求。
2、開機啟動
2.1)inetd.conf編輯/etc/services,加入行rsync 873/tcp,指定rsync的服務端口是873。編加/etc/inetd.conf,加入rsync stream tcp nowait root /bin/rsync rsync --daemon
注:對于xinetd,設置方法類似。
2.2)加入rc.local將啟動命令加入rc.local中:/usr/local/bin/rsync --daemon
rsync的兩種工作方式:
- 傳輸本地文件
2)傳輸服服務端和客戶端之間的數(shù)據(jù)
傳輸本地文件
具體的rsync命令參數(shù)后續(xù)會講
[root@CT5_6-32-220-NFS01tmp]# rsync -avz /tmp/dir01/ /tmp/dir02/
building file list ... done
./
test01
sent 105 bytes received 48 bytes 306.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
.
|-- dir01
| `--test01
|-- dir02
| `--test01
可以看到已經(jīng)成功的拷貝了。并且要注意/dir01/表示目錄下的所有內(nèi)容 /dir01表示的目錄本身
次例子是拷貝目錄下的內(nèi)容所以要加上/dir01/如果是要將/dir01整個目錄拷貝到/dir02下,那么就要寫/dir01 --->注意后面沒有/
[root@CT5_6-32-220-NFS01 tmp]# rsync -avz /tmp/dir01 /tmp/dir02/
這樣拷貝的是目錄本身
building file list ... done
dir01/
dir01/test01
sent 111 bytes received 48 bytes 318.00bytes/sec
total size is 0 speedup is 0.00
[root@CT5_6-32-220-NFS01 tmp]# tree
|-- dir01
| `--test01
|-- dir02
| |-- dir01
| | `-- test01
| `--test01
服務端和客戶端傳輸
1、服務端配置文件
rsync服務器的配置文件為/etc/rsyncd.conf,其控制認證、訪問、日志記錄等等。該文件是由一個或多個模塊結(jié)構(gòu)組成。一個模塊定義以方括弧中的模塊名開始,直到下一個模塊定義開始或者文件結(jié)束,模塊中包含格式為name = value的參數(shù)定義。
每個模塊其實就對應需要備份的一個目錄樹,比方說在我們的實例環(huán)境中,有三個目錄樹需要備份:/www/、/home/web_user1/和/home/web_user2/,那么就需要在配置文件中定義三個模塊,分別對應三個目錄樹。配置文件是行為單位的,也就是每個新行都表示一個新的注釋、模塊定義或者參數(shù)賦值。以#開始的行表示注釋,以""結(jié)束的行表示下面一行是該行的繼續(xù)。參數(shù)賦值中等號后可能是一個大小寫不敏感的字符串、一個以trure/false表示的布爾值。
參數(shù)說明:
全局參數(shù):
在文件中[modlue模塊名]之前的所有參數(shù)都是全局參數(shù),當然也可以在全局參數(shù)部分定義模塊參數(shù),這時候該參數(shù)的值就是所有模塊的默認值。
| 全局參數(shù) | 描述 |
|---|---|
| motd file | motd file |
| log file | 指定rsync的日志文件,而不將日志發(fā)送給syslog。 |
| pid file | 指定rsync的pid文件。 |
| syslog facility | 指定rsync發(fā)送日志消息給syslog時的消息級別,常見的消息級別是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默認值是daemon。 |
模塊參數(shù):
在全局參數(shù)之后就需要定義一個或多個模塊了,模塊中可以定義以下參數(shù):模塊以[模塊名]開始,直到另一個模塊的開始結(jié)束
| 模塊參數(shù) | 描述 |
|---|---|
| comment | 給模塊指定一個描述,該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認沒有描述定義。 |
| path | 指定該模塊的供備份的目錄樹路徑,該參數(shù)是必須指定的 |
| use chroot | 如果"use chroot"指定為true,那么rsync在傳輸文件以前首先chroot到path參數(shù)所指定的目錄下。這樣做的原因是實現(xiàn)額外的安全防護,但是缺點是需要以roots權限,并且不能備份指向外部的符號連接所指向的目錄文件。默認情況下chroot值為true。推薦:? |
| max connections | 指定該模塊的最大并發(fā)連接數(shù)量以保護服務器,超過限制的連接請求將被告知隨后再試。默認值是0,也就是沒有限制。 |
| lock file | 指定支持max connections參數(shù)的鎖文件,默認值是/var/run/rsyncd.lock |
| read only | 該選項設定是否允許客戶上載文件。如果為true那么任何上載請求都會失敗,如果為false并且服務器目錄讀寫權限允許那么上載是允許的。默認值為true。 |
| list | 該選項設定當客戶請求可以使用的模塊列表時,該模塊是否應該被列出。如果設置該選項為false,可以創(chuàng)建隱藏的模塊。默認值是true。 |
| uid | 該選項指定當該模塊傳輸文件時守護進程應該具有的uid,配合gid選項使用可以確定哪些可以訪問怎么樣的文件權限,默認值是"nobody"。 |
| gid | 該選項指定當該模塊傳輸文件時守護進程應該具有的gid。默認值為"nobody"。就是說當同步到這個模塊的時候,rsync守護進行要使用什么樣的UID和GID權限來讀取本地文件。(疑問:不懂是否是這樣理解) |
| exlude | 用來指定多個由空格隔開的多個模式列表,并將其添加到exclude列表中。這等同于在客戶端命令中使用--exclude來指定模式,不過配置文件中指定的exlude模式不會傳遞給客戶端,而僅僅應用于服務器。一個模塊只能指定一個exlude選項,但是可以在模式前面使用"-"和"+"來指定是 exclude還是include。但是需要注意的一點是該選項有一定的安全性問題,客戶很有可能繞過exlude列表,如果希望確保特定的文件不能被訪問,那就最好結(jié)合uid/gid選項一起使用。 |
| include | 用來指定多個由空格隔開的多個rsync并應該exlude的模式列表。這等同于在客戶端命令中使用--include來指定模式,結(jié)合 include和 exlude可以定義復雜的exlude/include規(guī)則。一個模塊只能指定一個include選項,但是可以在模式前面使用"-"和"+"來指定是 exclude還是include。 |
| auth users | 該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊。這里的用戶和系統(tǒng)用戶沒有任何關系。如果"auth users"被設置,那么客戶端發(fā)出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份這里使用的 challenge/response認證協(xié)議。用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。 |
| secrets file | 該選項指定一個包含定義用戶名:密碼對的文件。只有在"auth users"被定義時,該文件才有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字符。沒有默認的 secures file名,需要限式指定一個。(例如:/etc/rsyncd.secrets) |
| hosts allow | 該選項指定哪些IP的客戶允許連接該模塊??蛻裟J蕉x可以是以下式: 192.168.1.1 指定只有某個IP地址 192.168.1.0/24 指定某個網(wǎng)絡的客戶端Backup.linux.com 指定某個主機名才能訪問默認是允許所有主機連接。 |
| hosts deny | 指定不允許連接rsync服務器的機器,可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義 |
| ignore errors | 指定rsyncd在判斷是否運行傳輸時的刪除操作時忽略server上的IP錯誤,一般來說rsync在出現(xiàn)IO錯誤時將將跳過--delete操作,以防止因為暫時的資源不足或其它IO錯誤導致的嚴重問題。 |
| ignore nonreadable | 指定rysnc服務器完全忽略那些用戶沒有訪問權限的文件。這對于在需要備份的目錄中有些文件是不應該被備份者得到的情況是有意義的。 |
| transfer logging | 使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中。 |
| log format | 通過該選項用戶在使用transfer logging可以自己定制日志文件的字段。其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示:默認log格式為:"%o %h [%a] %m (%u) %f %l",一般來說,在每行的頭上會添加"%t [%p] "。在源代碼中同時發(fā)布有一個叫rsyncstats的perl腳本程序來統(tǒng)計這種格式的日志文件。%h 遠程主機名%a 遠程IP地址%m 模塊名%t 當前時間%f 文件名%l 文件長度字符數(shù) |
| timeout | 通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶。超時單位為秒鐘,0表示沒有超時定義,這也是默認值。對于匿名rsync服務器來說,一個理想的數(shù)字是600。 |
| dont compress | 用來指定那些不進行壓縮處理再傳輸?shù)奈募?,默認值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz 因為這些文件已經(jīng)經(jīng)過壓縮咯,默認不用修改。 |
服務器配置實例分析
有兩臺服務器:A和B。其中A是主web服務器,具有域名www.atong.com(192.168.1.1),B服務器是備份機,其域名為back.atong.com(192.168.1.2)。其中A的web內(nèi)容存放在以下幾個地方:/www/和 /home/web_user1/和/home/web_user2/。我們需要在備份機B上建立對這幾個目錄內(nèi)容的備份。
#vi /etc/rsyncd.conf編輯服務端的配置文件。
配置文件內(nèi)容
uid = nobody
gid = nobody
use chroot = nomax
connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path = /www/ignore errorsread only = truelist = falsehosts allow = 192.168.1.2hosts deny = 0.0.0.0/32 #拒絕任何主機,只有hosts allow的主機
auth users = rsyncsecrets
file = /etc/rsync.pas
[web_user1]
path = /home/web_user1/ignore errorsread only = true #客戶端不能上傳資料
list = falsehosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user1 #同步次模塊時,shi是用web_user1這個用戶來讀取path下的文件。
gid = web_user1auth
users = rsyncsecrets
file = /etc/rsync.pas
[web_user2]
path = /home/web_user2/ignore
errorsread only = true
list = false
hosts allow = 192.168.1.2
hosts deny = 0.0.0.0/32
uid = web_user2
gid = web_user2
auth users = rsyncsecrets
file = /etc/rsync.pas
這里定義有三個模塊,分別對應于三個需要備份的目錄樹。這里只允許192.168.1.2備份本機的數(shù)據(jù),并且需要認證。三個模塊授權的備份用戶都為rsync,并且用戶信息保存在文件/etc/rsync.pas中,其內(nèi)容如下:rsync:123456
并且該文件只能是root用戶可讀寫的,否則rsyncd啟動時會出錯。這些文件配置完畢以后,就需要在A服務器上啟動rsyncd服務器:/usr/bin/rsync --daemon
注意: 密碼文件的權限設置為600
客戶端操作
在對rsync服務器配置結(jié)束以后,下一步就需要在客戶端發(fā)出rsync命令來實現(xiàn)將服務器端的文件備份到客戶端來。rsync是一個功能非常強大的工具,其命令也有很多功能特色選項,我們下面就對它的選項一一進行分析說明。
首先,rsync的命令格式可以為:
1)rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST 推送(因為SRC是本地)
2)rsync [OPTION]... [USER@]HOST:SRC DEST 拉取 (因為SRC是服務端)
3)rsync [OPTION]... SRC [SRC]... DEST 拷貝本地文件
4)rsync [OPTION]... [USER@]HOST::SRC [DEST]
5)rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
6)rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC[DEST]
SRC:標示源文件(從哪來拷)
DES:目標文件(拷到哪里)
rsync命令有六種格式:
第1個命令格式:是將本地的內(nèi)容推送到服務器端。
實例:rsync /tmp rsync@192.168.1.1:www
第2個命令格式:是將服務器的內(nèi)容拉取到本地端。
實例:rsync rsync@192.168.1.1:www /tmp
[對照一下上面的命令格式,一般是有USER@HOST:就表示是服務器端,而沒有知識SRC或DEST就表示是客戶端。怎么分清楚是拉取還是推送,要看服務端是SRC還是DEST,如果是SRC就表示從服務端拷,就是拉取格式如USER@HOST:SRC。如果是DEST(拷到哪里)就表示推送,拷到服務端USER@HOST:DEST]
第4個和第5個命令同第1、2之間的區(qū)別就在于服務端(USER@HSOT)后面是跟上一個: 還是兩個::1g個:表示會在服務器端啟用以個shell來執(zhí)行這個命令。而::表示會以deamon模式來執(zhí)行。
rsync命令同步參數(shù):
先了解下rsync的同步參數(shù)選項,先通過本地同步的方式來驗證rsync的同步參數(shù)。
-v :詳細模式輸出,傳輸時的進度等信息
-z :傳輸時進行壓縮以提高效率—compress-level=num可按級別壓縮
-r :對子目錄以遞歸模式,即目錄下的所有目錄都同樣傳輸。
-t :保持文件的時間信息—time
-o :保持文件屬主信息owner
-p :保持文件權限
-g :保持文件的屬組信息
-P :--progress 顯示同步的過程及傳輸時的進度等信息
-a :歸檔模式,表示以地柜模式傳輸文件,并保持文件所有屬性相當于-rtopgdl
-e :使用的信道協(xié)議,指定替代rsh的shell程序。例如:ssh
-D :保持設備文件信息
-l :--links 保留軟連接
--progress :顯示備份過程
--delete :刪除那些DST中SRC沒有的文件
--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?-u, --update 僅僅進行更新,也就是跳過所有已經(jīng)存在于DST,并且文件時間晚于要備份的文件。(不覆蓋更新的文件)
-b, --backup 創(chuàng)建備份,也就是對于目的已經(jīng)存在有同樣的文件名時,將老的文件重新命名為~filename。
-suffix=SUFFIX 定義備份文件前綴
-stats 給出某些文件的傳輸狀態(tài)
-R, --relative 使用相對路徑信息 如:rsync foo/bar/foo.c remote:/tmp/ 則在/tmp目錄下創(chuàng)建foo.c文件,而如果使用-R參數(shù):rsync -R foo/bar/foo.c remote:/tmp/ 則會創(chuàng)建文件/tmp/foo/bar/foo.c,也就是會保持完全路徑信息。
--config=FILE 指定其他的配置文件,不使用默認的rsyncd.conf文件
--port=PORT 指定其他的rsync服務端口
一般就使用 -avz來進行傳輸,如果放入腳本中可以吧-v和-P去掉。
客戶端命令格式實例:
1.2 從服務器上下載文件
rsync -avz --delete rsycn@192.168.1.1::/tmp /tmp --password-file=/etc/rsync.pas
從本地上傳到服務器上去
rsync -avz --delete --progress /tmp rsync@192.168.1.1::/tmp
參考實例1:
具體需求:在A-SERVER上以rsync守護進程的方式部署rsync服務,使得所有客戶端主機,可以把本地的數(shù)據(jù)通過rsync的方式據(jù)備份到服務器A-SERVER上。也可以通過rsync將數(shù)據(jù)從A-SERVER抓取到客戶端。
拓撲方向:C<---->A A<--->B
服務器端
1)配置/etc/rsyncd.conf
Rsyncd.conf 默認是rsync服務的配置文件
uid = root #此表示rsync以什么用戶來讀取本地的目。也就是以root用戶來進行rsync指定目錄的文件讀取,寫入權限。
gid = root
use chroot = no
max connections = 200 #最大連接數(shù)
timeout = 300
pid file = /var/run/rsyncd.pid
locak file = /var/run/rsync.lock
log file = /var/log/rsyncd.log #日志文件
[atong] #當我們讀取的時候,就需要使用到模塊名
Path = /tmp/ #指定備份的路徑
Ignore errors #忽略錯誤
read only = false #不只讀
list = false #不列出rsync目錄文件
hosts allow = 10.0.0.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password #認證的密鑰文件
man rsyncd.conf查看配置的細節(jié)信息
注意:配置的path一定要存在,并且權限是允許uid和gid去進行讀寫才可以。有點類似nfs的本地文件權限,和nfs共享權限一樣。
2)配置密碼文件:文件格式為用戶:密碼并且里面的只能以這樣的格式,并且是沒有空格的。而且在配置文件中的log file 指定的存放路徑,就是此密碼文件的存放路徑,且文件名要正確。密碼文件的權限必須是600的權限,root root
3)啟動rsync
#rsync –-daemon 表示讓rsync以daemon的模式進行啟動
#ps -ef | grep rsync 查看rsync進程是否已經(jīng)啟動
#netstat –lnt | grep 873 查看rsync是否已經(jīng)啟動,并檢測端口狀態(tài)
#lsof –I tcp:873 用來反查端口對應的是什么服務。
拓展:
--daemon 表示以守護進程的方式啟動
--address 綁定某個ip地址來提供服務,如果有多個ip地址的話
--config=file 更還配置文件路徑,而不是默認的/etc/rsyncd.conf
--port=PORT 更改其他端口提供服務器,而不是默認的873端口
以上的幾個參數(shù)為了解內(nèi)容,生產(chǎn)環(huán)境并不長常用
配置rsync開機啟動
echo “/usr/bin/rsync --daemon”>>/etc/rc.local
重啟rsync服務
pkill rsync&&rsync -daemon
客戶端部署
1)在同樣的密碼文件下添加用戶的密碼 600權限(文件不一定要和服務端的一樣,但為了方便管理,建議一樣的)
推送
#rsync –avz –P /tmp/atong [rsync_back@192.168.1.1::a](mailto:rsync_back@192.168.1.1::oldboy/)tong
最后面的::表示是以daemon模式,并且是oldboy模塊。此模塊的名稱必須和配置文件中的一樣。
--password-file=/etc/rsync.password```
此方式的推送,最后面的/atong/跟的并不是模塊名稱,而是直接接上目錄路徑。[此目錄是不是只能夠接上,服務器上配置的同步目錄]
實例:
[root@CT5_6-32-220-NFS01 data]# cat/etc/rsyncd.conf
uid = root
gid = root
user chroot = no
max connections =200
timeout = 300
pid file =/var/run/rsyncd.pid
locake file =/var/run/rsync.lock
log file = /var/log/rsyncd.log
[tmp]
path=/tmp/
ignore errors
read only = false
list = false
hosts allow = 192.168.40.0/22
hsots deny=0.0.0.0/32
authusers = rsync_back
secretsfile= /etc/rsync.password
[/data/rsync/]
path=/data/rsync/
read only = false
auth users = rsync_back
secrets file = /etc/rsync.password
root@CT5_6-32-220-NFS01 tmp]# mkdir /data ##創(chuàng)建模塊中使用到的目錄
mkdir: cannot create directory `/data': File exists
[root@CT5_6-32-220-NFS01 tmp]# cd /data
[root@CT5_6-32-220-NFS01 data]# echo"rsync_back:123456" >> /etc/rsync.password
[root@CT5_6-32-220-NFS01 data]# chmod 600 /etc/rsync.password##注意密碼文件的權限為600權限。
[root@CT5_6-32-220-NFS01 data]# rsync –daemon 啟動
[root@CT5_6-32-220-NFS01 data]# netstat -lnt | grep873 ##查看系統(tǒng)中是否已經(jīng)啟動rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN
#####配置客戶端:客戶端中只需要存放用戶的密碼,并且權限為600即可
[root@CT56-32-221-NFS02 dir01]# echo "123456" >>/etc/rsync.password
[root@CT56-32-221-NFS02 dir01]# chmod 600/etc/rsync.password
第一種拉取方式:
[root@CT56-32-221-NFS02 tmp]# rsync -avz rsync_back@192.168.41.220::tmp /tmp/
其中
[root@CT56-32-221-NFS02 tmp]# ll
total 20
drwxr-xr-x 84 root root 4096 Jun 20 10:28 2
drwxr-xr-x 3root root 4096 Jun 20 10:19 dir01
drwxr-xr-x 3root root 4096 Jun 20 09:43 dir02
drwxr-xr-x 84 root root 4096 Jun 19 05:25 etc
drwx------ 2root root 4096 Jun 20 07:40 ssh-ZQBmZ29557
說明:如果是加上-delete進行推送,那么我指定的本地目錄的內(nèi)容有哪些,遠端目錄的內(nèi)容也就只有哪些。如我原本指定/tmp/atong/ 和遠端/atong/一樣。后來又再創(chuàng)建了一個/delete目錄且為空,那么我再推送/tmp/delete/和遠端/atong/目錄,那么遠端原來有的所有內(nèi)容都會被刪除掉,因為此時的/delete/目錄有啥,遠端也就有啥。
一些示例腳本這里這些腳本都是rsync網(wǎng)站上的例子:
1、每隔七天將數(shù)據(jù)往中心服務器做增量備份
```
#!/bin/sh
#This script does personal backups to a rsyncbackup server. You will end up
# with a 7 day rotating incremental backup. Theincrementals will go
# into subdirectories named after the day of theweek, and the current
# full backup goes into a directory called"current"
# tridge@linuxcare.com
# directory to backupBDIR=/home/$USER# excludes file - this contains a wildcard patternper line of files to excludeEXCLUDES=$HOME/cron/excludes# the name of the backup machineBSERVER=owl# your password on the backup serverexport RSYNC_PASSWORD=XXXXXX########################################################################BACKUPDIR=`date +%A`OPTS="--force --ignore-errors--delete-excluded --exclude-from=$EXCLUDES--delete --backup --backup-dir=/$BACKUPDIR -a"export PATH=$PATH:/bin:/usr/bin:/usr/local/bin# the following line clears the last weeks incrementaldirectory[ -d $HOME/emptydir ] || mkdir $HOME/emptydirrsync --delete -a $HOME/emptydir/$BSERVER::$USER/$BACKUPDIR/rmdir $HOME/emptydir# now the actual transferrsync $OPTS $BDIR $BSERVER::$USER/current
2、備份至一個空閑的硬盤
#!/bin/sh
export PATH=/usr/local/bin:/usr/bin:/binLIST="rootfs usr data data2"for d in $LIST; domount /backup/$drsync -ax --exclude fstab --delete /$d/ /backup/$d/umount /backup/$ddoneDAY=`date "+%A"`rsync -a --delete /usr/local/apache/data2/backups/$DAYrsync -a --delete /data/solid /data2/backups/$DAY
3、對vger.rutgers.edu的cvs樹進行鏡像
#!/bin/bashcd /var/www/cvs/vger/PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/binRUN=`lps x | grep rsync | grep -v grep | wc -l`if [ "$RUN" -gt 0 ]; thenecho already runningexit 1firsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog$HOME/ChangeLogsum1=`sum $HOME/ChangeLog`sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog`if [ "$sum1" = "$sum2" ]; thenecho nothing to doexit 0firsync -az --delete --force vger.rutgers.edu::cvs//var/www/cvs/vger/exit 0
```
FAQ
Q:如何通過ssh進行rsync,而且無須輸入密碼?
A:可以通過以下幾個步驟1. 通過ssh-keygen在server A上建立SSH keys,不要指定密碼,你會在~/.ssh下看到identity和identity.pub文件2. 在server B上的home目錄建立子目錄.ssh3. 將A的identity.pub拷貝到server B上4. 將identity.pub加到~[user b]/.ssh/authorized_keys5. 于是server A上的A用戶,可通過下面命令以用戶B ssh到server B上了e.g. ssh -l userB serverB這樣就使server A上的用戶A就可以ssh以用戶B的身份無需密碼登陸到serverB上了。
Q:如何通過在不危害安全的情況下通過防火墻使用rsync?
A:解答如下:這通常有兩種情況,一種是服務器在防火墻內(nèi),一種是服務器在防火墻外。無論哪種情況,通常還是使用ssh,這時最好新建一個備份用戶,并且配置 sshd僅允許這個用戶通過RSA認證方式進入。如果服務器在防火墻內(nèi),則最好限定客戶端的IP地址,拒絕其它所有連接。如果客戶機在防火墻內(nèi),則可以簡單允許防火墻打開TCP端口22的ssh外發(fā)連接就ok了。
Q:我能將更改過或者刪除的文件也備份上來嗎?
A:當然可以:你可以使用如:rsync -other -options-backupdir = ./backup-2000-2-13 ...這樣的命令來實現(xiàn)。這樣如果源文件:/path/to/some/file.c改變了,那么舊的文件就會被移到./backup-2000-2-13/path/to/some/file.c,這里這個目錄需要自己手工建立起來
Q:我需要在防火墻上開放哪些端口以適應rsync?
A:視情況而定rsync可以直接通過873端口的tcp連接傳文件,也可以通過22端口的ssh來進行文件傳遞,但你也可以通過下列命令改變它的端口:rsync --port 8730 otherhost::或者rsync -e 'ssh -p 2002' otherhost:
Q:我如何通過rsync只復制目錄結(jié)構(gòu),忽略掉文件呢?
A:rsync -av --include '*/' --exclude '*' source-dir dest-dir
Q:為什么我總會出現(xiàn)"Read-only file system"的錯誤呢?
A:看看是否忘了設"read only = no"了
Q:為什么我會出現(xiàn)'@ERROR: invalid gid'的錯誤呢?
A:rsync使用時默認是用uid=nobody;gid=nobody來運行的,如果你的系統(tǒng)不存在nobody組的話,就會出現(xiàn)這樣的錯誤,可以試試gid = nogroup或者其它
Q:綁定端口873失敗是怎么回事?
A:如果你不是以root權限運行這一守護進程的話,因為1024端口以下是特權端口,會出現(xiàn)這樣的錯誤。你可以用--port參數(shù)來改變。
Q:為什么我認證失???
A:從你的命令行看來:你用的是:>; bash$ rsync -a 144.16.251.213::test test>; Password:>; @ERROR: auth failed on module test>;>; I dont understand this. Can somebody explainas to how to acomplish this.>; All suggestions are welcome.應該是沒有以你的用戶名登陸導致的問題,試試rsync -amax@144.16.251.213::test test