RSYNC 概述

在這里插入圖片描述

Rsync 是 Linux 系統(tǒng)下的數(shù)據(jù)鏡像備份工具，使用快速增量備份工具 Remote Sync 可以遠(yuǎn)程同
步，可以在不同主機(jī)之間進(jìn)行同步，可實(shí)現(xiàn)全量備份與增量備份，保持鏈接和權(quán)限，傳輸前執(zhí)行壓縮，因 此非常適合用于架構(gòu)集中式備份或異地備份等應(yīng)用。 公眾號【學(xué)神來啦】
官方網(wǎng)站：https://rsync.samba.org/

RSYNC 數(shù)據(jù)備份

與 SCP 的比較：scp 無法備份大量數(shù)據(jù)，類似 Windows 的復(fù)制。
而 rsync 邊復(fù)制，邊統(tǒng)計(jì)，邊比較。

Rysnc 特性和優(yōu)點(diǎn)

1.可以鏡像保存整個目錄樹和文件系統(tǒng)。
2.可以很容易做到保持原來文件的屬性、權(quán)限、時間、軟硬鏈接等等。
3.無須特殊權(quán)限即可安裝。
4.快速：第一次同步時 rsync 復(fù)制全部內(nèi)容，但在下一次只傳輸修改過的文件。
5.壓縮傳輸：rsync 在傳輸數(shù)據(jù)的過程中可以實(shí)行壓縮及解壓縮操作，因此可以使用更少的帶寬。
6.安全性：可以使用 scp、ssh 等方式來傳輸文件，當(dāng)然也可以通過直接的 socket 連接。選擇性保
持：符號連接，硬鏈接，文件屬性，權(quán)限，時間等。

常見備份分類

（1） 完整備份：每次都備份所有數(shù)據(jù)。
（2） 差異備份：每次備份和第一次完全備份相比的“差異”部分?jǐn)?shù)據(jù)。

在這里插入圖片描述

（3） 增量備份：除第一次備份以外，每次只備份增長數(shù)據(jù)。

在這里插入圖片描述

RSYNC 原理

1.運(yùn)行模式和端口：
采用 C/S 模式（客戶端/服務(wù)器模式）[ 實(shí)際上是一個點(diǎn)到點(diǎn)的傳輸，直接使用 rsync 命令即可完
成 ]
rsync 監(jiān)聽的端口：873

2.四個名詞的解釋：
發(fā)起端：負(fù)責(zé)發(fā)起 rsync 同步操作的客戶機(jī)叫做發(fā)起端，通知服務(wù)器我要備份你的數(shù)據(jù)。
備份源：負(fù)責(zé)響應(yīng)來自客戶機(jī) rsync 同步操作的服務(wù)器叫做備份源，需要備份的服務(wù)器。
服務(wù)端：運(yùn)行 rsyncd 服務(wù)，一般來說，需要備份的服務(wù)器。
客戶端：存放備份數(shù)據(jù)。

3.數(shù)據(jù)同步方式：
推 push：一臺主機(jī)負(fù)責(zé)把數(shù)據(jù)傳送給其他主機(jī)，服務(wù)器開銷很大，比較適合后端服務(wù)器少的情況。
拉 pull：所有主機(jī)定時去找一臺主機(jī)拉數(shù)據(jù)，可能就會導(dǎo)致數(shù)據(jù)緩慢。
推：目的主機(jī)配置為 rsync 服務(wù)器，源主機(jī)周期性的使用 rsync 命令把要同步的目錄推過去（需要
備份的機(jī)器是客戶端，存儲備份的機(jī)器是服務(wù)端）。
拉：源主機(jī)配置為 rsync 服務(wù)器，目的主機(jī)周期性的使用 rsync 命令把要同步的目錄拉過來（需要
備份的機(jī)器是服務(wù)端，存儲備份的機(jī)器是客戶端）。
兩種方案，rsync 都有對應(yīng)的命令來實(shí)現(xiàn)。
rsync 命令示例說明 push 和 pull，如圖

在這里插入圖片描述

系統(tǒng)之前 xinetd 管理 Rsync 工作原理，如圖

在這里插入圖片描述

實(shí)戰(zhàn)：使用 rsync 進(jìn)行數(shù)據(jù)同步

rsync 命令的基本用法：
格式：rsync 【選項(xiàng)】 源文件 目標(biāo)文件
常見的選項(xiàng)：

-a，--archive(存檔) 歸檔模式，表示以遞歸的方式傳輸文件，并且保持文件屬性，等同于加了參數(shù)
-rlptgoD
-v：顯示 rsync 過程中詳細(xì)信息。
-r，–recursive 對子目錄以遞歸模式處理
-l,--links 表示拷貝鏈接文件
-p , --perms 表示保持文件原有權(quán)限
-t , --times 表示保持文件原有時間
-g , --group 表示保持文件原有屬用戶組
-o , --owner 表示保持文件原有屬主
-D , --devices 表示塊設(shè)備文件信息
-z , --compress 表示壓縮傳輸
-H 表示硬連接文件
-A 保留 ACL 屬性信息
-P 顯示傳輸進(jìn)度
--delete 刪除那些目標(biāo)位置有而原始位置沒有的文件

例： rsync --delete /原始位置（要同步的數(shù)據(jù)） 192.168.1.64:/目標(biāo)位置

實(shí)戰(zhàn) 1： 備份 xuegod63 的/var/www/html 目錄到 xuegod64 的/web-back。

開始備份：
xuegod63： 創(chuàng)建用于測試的數(shù)據(jù)

[root@xuegod64 ~]# mkdir /web-back
[root@xuegod63 ~]# mkdir -p /var/www/html
[root@xuegod63 ~]# cp -r /boot/grub2/ /var/www/html
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ \
root@192.168.1.64:/web-back

常見的選項(xiàng)：

-a，--archive(存檔) 歸檔模式，表示以遞歸的方式傳輸文件，并且保持文件屬性，等同于加了參數(shù)
-rlptgoD
-z , --compress 表示傳輸前壓縮
-P 顯示傳輸進(jìn)度
--delete 刪除那些目標(biāo)位置有而原始位置沒有的文件，保障源文件和目標(biāo)文件一致

實(shí)戰(zhàn) 2： 使用 ssh 密鑰實(shí)現(xiàn)無交互備份。做成腳本，將 xuegod63 上的數(shù)據(jù)，定期備份到xuegod64 上

在 xuegod63 上生成密鑰對

[root@xuegod63 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回庫
Enter passphrase (empty for no passphrase): #直接回庫
Enter same passphrase again: #直接回庫
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ac:64:7f:6c:54:41:a1:80:4a:ab:79:9a:6d:d1:ef:e0 root@xuegod63.cn
The key's randomart image is:
+--[ RSA 2048]----+
| .. .+. |
| . . . . . |
| . o . . |
| o . . |
| o .o S . |
| o oo.o o |
| = .o.. + |
| o o. ..o |
| . E.. |
+-------------------+

查看生成的公鑰和私鑰：

[root@xuegod63 ~]# ls /root/.ssh/
id_rsa（私鑰） id_rsa.pub（公鑰） known_hosts

將公鑰上傳到 xuegod64 數(shù)據(jù)源
方法 1： [root@xuegod63 ~]# ssh-copy-id root@192.168.1.64
相當(dāng)于你執(zhí)行了：
方法 2： # scp /root/.ssh/id_rsa.pub root@192.168.1.64:/root/.ssh/authorized_keys

查看：

[root@xuegod64 ~]# ls /root/.ssh/
authorized_keys known_hosts

測試，不輸密碼直接登錄：

[root@xuegod63 ~]# ssh root@192.168.1.64
[rget1@xuegod64 ~]# exit

測試，不輸密碼直接備份：

[root@xuegod64 ~]# rm -rf /web-back/*
[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ root@192.168.1.64:/webback

ctrl+r 可以搜索歷史命令快速調(diào)到前臺執(zhí)行

Rsync 服務(wù)安裝

實(shí)驗(yàn)拓?fù)洌?br> xuegod63（源主機(jī) 192.168.1.63）
xuegod64（目標(biāo)主機(jī) 192.168.1.64）
需要關(guān)閉 selinux，否則即使創(chuàng)建/etc/rsyncd.conf 文件之后去啟動服務(wù)也不會生效。

[root@xuegod63 ~]# setenforce 0
[root@xuegod63 ~]#yum -y install rsync
[root@xuegod63 ~]#systemctl start rsyncd
[root@xuegod63~]# netstat -antup | grep 873 #查看 873 端口是否監(jiān)聽。
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 43447/rsync
tcp6 0 0 :::873 :::* LISTEN 43447/rsync

centos6/8 系統(tǒng)使用如下方法啟動 rsync

yum -y install xinetd rsync
touch /etc/rsyncd.conf
rsync --daemon
systemctl start xineted
netstat -antpu|grep 873

rsync 命令選項(xiàng)

-a：--archive archive mode 權(quán)限保存模式，相當(dāng)于 -rlptgoD 參數(shù)，存檔，遞歸，保持屬性等。
-z：--compress 壓縮模式，當(dāng)資料在傳送到目的端進(jìn)行檔案壓縮。
-H：--hard-links 保留硬鏈接文件。
--version：輸出 rsync 版本。
-v：--verbose 復(fù)雜的輸出信息。
-u：--update 僅僅進(jìn)行更新，也就是跳過已經(jīng)存在的目標(biāo)位置，并且文件時間要晚于要備份的文
件，不覆蓋新的文件。
--port=PORT：定義 rsyncd(daemon)要運(yùn)行的 port(預(yù)設(shè)為 tcp 873)。
--delete：刪除那些目標(biāo)位置有的文件而備份源沒有的文件。
--password-file=FILE ：從 指定密碼文件中獲取密碼。
--bwlimit=KBPS：限制 I/O 帶寬。
--filter “-filename”：需要過濾的文件。
--exclude=filname：需要過濾的文件。
--progress：顯示備份過程。
通常常用的選項(xiàng) –avz

使用 rsync 備份數(shù)據(jù)保持原有文件權(quán)限

對 xuegod63 網(wǎng)站根目錄的/var/www/html 目錄備份到 xuegod64 的/web-back 。
服務(wù)器：xuegod63
客戶端：xuegod64

1.建立測試用戶（兩臺主機(jī)都需要操作）：

[root@xuegod64 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

更改用戶 rget1 的密碼 。
passwd：所有的身份驗(yàn)證令牌已經(jīng)成功更新。

[root@xuegod63 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1

2.更改用戶 rget1 的密碼 。
passwd：所有的身份驗(yàn)證令牌已經(jīng)成功更新。
對目錄賦予 ACL 權(quán)限：

[root@xuegod63 ~]# mkdir /var/www/html/ -p #創(chuàng)建目錄。
[root@xuegod63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/
[root@xuegod63 ~]# setfacl -R -m default:rget1:rwx /var/www/html/
#默認(rèn)權(quán)限，當(dāng)用戶創(chuàng)建文件時，會使用這個權(quán)限應(yīng)用到新創(chuàng)建的文件
[root@xuegod63 ~]# getfacl /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget1:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget1:rwx
default:group::r-x
default:mask::rwx
default:other::r-x

3.創(chuàng)建測試數(shù)據(jù)：

[root@xuegod63 ~]# cp -r /boot/* /var/www/html/
 # 復(fù)制/boot/目錄下所有內(nèi)容到 /var/www/html/目錄下。

4.服務(wù)端上操作：

[root@xuegod64 ~]# mkdir /web-back #創(chuàng)建存放數(shù)據(jù)目錄。
[root@xuegod64 ~]# chown rget1:rget1 -R /web-back/
#修改目錄屬主、屬組為 rget1 用戶。
[root@xuegod63 ~]# rsync -avz /var/www/html/ rget1@192.168.1.64:/web-back/
The authenticity of host '192.168.0.64 (192.168.0.64)' can't be established.
ECDSA key fingerprint is
SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.
ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.
Are you sure you want to continue connecting (yes/no)? yes #輸入 yes。
Warning: Permanently added '192.168.0.64' (ECDSA) to the list of known hosts.
rget1@192.168.0.64's password: #輸入 rget1 用戶密碼。
sending incremental file list
./
sent 29 bytes received 15 bytes 3.03 bytes/sec
total size is 0 speedup is 0.00

使用非系統(tǒng)用戶備份數(shù)據(jù)

實(shí)驗(yàn)開始之前首先客戶端服務(wù)器端關(guān)閉防火墻 firewalld 否則實(shí)驗(yàn)失?。?/p>

[root@xuegod63 ~]# systemctl stop firewalld.service
[root@xuegod64 ~]# systemctl stop firewalld.service

使用非系統(tǒng)用戶進(jìn)入備份數(shù)據(jù)，依靠系統(tǒng)中的 rsync 配置文件/etc/rsyncd.conf 進(jìn)行備份數(shù)據(jù)，并
創(chuàng)建備份賬戶，最終把 rsync 以 deamon 方式運(yùn)行。

1.rsyncd.conf 配置文件：

配置文件分為兩部分：全局參數(shù)、模塊參數(shù)。
全局參數(shù)：對 rsync 服務(wù)器生效，如果模塊參數(shù)和全局參數(shù)沖突，沖突的地方模塊參數(shù)最終生效。
模塊參數(shù)：定義需要通過 rsync 輸出的目錄定義的參數(shù)。

（1）常見的全局參數(shù)：

port：指定后臺程序使用的端口號，默認(rèn)為 873。

uid：該選項(xiàng)指定當(dāng)該模塊傳輸文件時守護(hù)進(jìn)程應(yīng)該具有的 uid，配合 gid 選項(xiàng)使用可以確定哪些可
以訪問怎么樣的文件權(quán)限，默認(rèn)值是" nobody"。

gid：該選項(xiàng)指定當(dāng)該模塊傳輸文件時守護(hù)進(jìn)程應(yīng)該具有的 gid。默認(rèn)值為" nobody"。

max connections：指定該模塊的最大并發(fā)連接數(shù)量以保護(hù)服務(wù)器，超過限制的連接請求將被告知
隨后再試。默認(rèn)值是 0，也就是沒有限制。

lock file：指定支持 max connections 參數(shù)的鎖文件，默認(rèn)值是/var/run/rsyncd.lock。

motd file：" motd file"參數(shù)用來指定一個消息文件，當(dāng)客戶連接服務(wù)器時該文件的內(nèi)容顯示給客
戶，默認(rèn)是沒有 motd 文件的。

log file：" log file"指定 rsync 的日志文件，而不將日志發(fā)送給 syslog。

pid file：指定 rsync 的 pid 文件，通常指定為“/var/run/rsyncd.pid”，存放進(jìn)程 ID 的文件位
置。

hosts allow：單個 IP 地址或網(wǎng)絡(luò)地址，允許訪問的客戶機(jī)地址。

（2）常見的模塊參數(shù)：
主要是定義服務(wù)器哪個要被同步輸出，其格式必須為“ [ 共享模塊名 ]” 形式，這個名字就是
在 rsync 客戶端看到的名字，其實(shí)很像 samba 服務(wù)器提供的共享名。而服務(wù)器真正同步的數(shù)據(jù)是通
過 path 來指定的。

Comment：給模塊指定一個描述，該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認(rèn)
沒有描述定義。

path：指定該模塊的供備份的目錄樹路徑，該參數(shù)是必須指定的。

read only：是否為只讀模式 true/false。true 無法上傳寫入。

exclude：用來指定多個由空格隔開的多個文件或目錄(相對路徑)，將其添加到 exclude 列表中。這
等同于在客戶端命令中使用―exclude 或----filter 來指定某些文件或目錄不下載或上傳（既不可訪問）

exclude from：指定一個包含 exclude 模式的定義的文件名，服務(wù)器從該文件中讀取 exclude 列
表定義，每個文件或目錄需要占用一行

include：用來指定不排除符合要求的文件或目錄。這等同于在客戶端命令中使用--include 來指定
模式，結(jié)合 include 和 exclude 可以定義復(fù)雜的 exclude/include 規(guī)則。

include from：指定一個包含 include 模式的定義的文件名，服務(wù)器從該文件中讀取 include 列表
定義。

auth users：該選項(xiàng)指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模塊。這里
的用戶和系統(tǒng)用戶沒有任何關(guān)系。如果" auth users"被設(shè)置，那么客戶端發(fā)出對該模塊的連接請求以后
會被 rsync 請求 challenged 進(jìn)行驗(yàn)證身份這里使用的 challenge/response 認(rèn)證協(xié)議。用戶的名和密
碼以明文方式存放在" secrets file"選項(xiàng)指定的文件中。默認(rèn)情況下無需密碼就可以連接模塊（也就是匿
名方式）。

secrets file：該選項(xiàng)指定一個包含定義用戶名:密碼對應(yīng)的文件。只有在" auth users"被定義時，
該文件才有作用。文件每行包含一個 username:passwd 對。一般來說密碼最好不要超過 8 個字符。沒
有默認(rèn)的 secures file 名，注意：該文件的權(quán)限一定要是 600，否則客戶端將不能連接服務(wù)器。

hosts allow：指定哪些 IP 的客戶允許連接該模塊。定義可以是以下形式：
單個 IP 地址，例如：192.167.0.1，多個 IP 或網(wǎng)段需要用空格隔開。
整個網(wǎng)段，例如：192.168.0.0/24，也可以書寫為 192.168.0.0/255.255.255.0
“*”則表示所有，默認(rèn)是允許所有主機(jī)連接。

hosts deny：指定不允許連接 rsync 服務(wù)器的機(jī)器，可以使用 hosts allow 的定義方式來進(jìn)行定
義。默認(rèn)是沒有 hosts deny 定義。

list：該選項(xiàng)設(shè)定當(dāng)客戶請求可以使用的模塊列表時，該模塊是否應(yīng)該被列出。如果設(shè)置該選項(xiàng)為

false，可以創(chuàng)建隱藏的模塊。默認(rèn)值是 true。

timeout：通過該選項(xiàng)可以覆蓋客戶指定的 IP 超時時間。通過該選項(xiàng)可以確保 rsync 服務(wù)器不會永
遠(yuǎn)等待一個崩潰的客戶端。超時單位為秒鐘，0 表示沒有超時定義，這也是默認(rèn)值。對于匿名 rsync 服務(wù)器來說，一個理想的數(shù)字是 600。

實(shí)戰(zhàn)：使用 rsync 服務(wù)進(jìn)行數(shù)據(jù)同步。

用配置文件定義目錄輸出。
服務(wù)器：xuegod64
客戶端：xuegod63

[root@xuegod64 ~]# vim /etc/rsyncd.conf #文件不存在，需要手動創(chuàng)建。
注意： #會出現(xiàn)因注釋不兼容的問題而導(dǎo)致推數(shù)據(jù)時出現(xiàn)報錯，配置文件需取消注釋或者注釋進(jìn)行換
行處理。
uid = root #運(yùn)行進(jìn)程的身份。
gid = root #運(yùn)行進(jìn)程的組。
address =192.168.1.64 #監(jiān)聽 IP。
port =873 #監(jiān)聽端口。
hosts allow =192.168.1.0/24 #允許同步客戶端的 IP 地址，可以是網(wǎng)段，或者用*表示所
有 192.168.1.0/24 或 192.168.1.0/255.255.255.0
use chroot = yes #是否囚牢，鎖定家目錄，rsync 被黑之后，黑客無法再 rsync
運(yùn)行的家目錄之外創(chuàng)建文件，選項(xiàng)設(shè)置為 yes。
max connections =5 #最大連接數(shù)。
pid file =/var/run/rsyncd.pid #進(jìn)程 PID，自動生成。
lock file =/var/run/rsync.lock #指 max connectios 參數(shù)的鎖文件。
log file =/var/log/rsyncd.log #日志文件位置。
motd file =/etc/rsyncd.motd #客戶端登陸之后彈出的消息，需要創(chuàng)建。
[wwwroot] #共享模塊名稱。
path =/web-back/ #路徑。
comment = used for web-data root #描述。
read only = false #只讀權(quán)限為假。
list = yes #是否允許查看模塊信息。
auth users = rsyncuser #備份的用戶，和系統(tǒng)用戶無關(guān)。
secrets file =/etc/rsync.passwd #存放用戶的密碼文件，格式是 用戶名：密碼。

創(chuàng)建提示文件和用戶密碼

#編輯歡迎信息文件。
[root@xuegod64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd
[root@xuegod64 ~]# vim /etc/rsync.passwd #創(chuàng)建并編寫密碼文件。
rsyncuser:password123 #格式為 用戶名稱：密碼。
[root@xuegod64 ~]# chmod 600 /etc/rsync.passwd
#密碼文件權(quán)限必須是 700 或者 600，否則的話身份驗(yàn)證會失效。
[root@xuegod64~]#systemctl start rsyncd
[root@xuegod64~]# rsync --daemon --config=/etc/rsyncd.conf #加載配置文
件 rsyncd.conf 啟動 rsync 服務(wù)。
[root@xuegod64 ~]# netstat -antup | grep :873 #查看 873 端口是否監(jiān)聽。
tcp 0 0:::873 :::* LISTEN 45089/xinetd

測試

rsync 語法：rsync 選項(xiàng) 用戶名@備份源服務(wù)器 IP::共享模塊名 目標(biāo)目錄
[root@xuegod63 ~]# rsync -avz /var/www/html rsyncuser@192.168.0.64::wwwroot
Welcome to Backup Server
Password: #輸入密碼 password123

密碼處理

新建一個文件保存好密碼，然后在 rsync 命令中使用--password-file 指定此文件即可
[root@xuegod63 ~]# vim /etc/rsync.passwd #創(chuàng)建密碼文件，其中中需要指定密碼即
可。
password123
[root@xuegod63 ~]# chmod 600 /etc/rsync.passwd #賦予密碼文件 600 權(quán)限。
[root@xuegod63~]# rsync -avz /var/www/html \
rsyncuser@192.168.0.64::wwwroot --password-file=/etc/rsync.passwd 推 push
[root@xuegod63~]#rsync -azP rsyncuser@192.168.1.202::wwwroot /opt --passwordfile=/etc/rsync.passwd 拉 pull

在這里插入圖片描述

腳本實(shí)現(xiàn)定時自動備份

[root@xuegod63 ~]# vim autobackup.sh #編寫腳本。
#!/bin/bash
rsync -avz /var/www/html \
rsyncuser@192.168.1.64::wwwroot -- password-file=/etc/rsync.passwd
[root@xuegod63 ~]# chmod +x autobackup.sh #賦予腳本執(zhí)行權(quán)限。
[root@xuegod64 ~]# rm -rf /web-back/ *
[root@xuegod63 ~]# sh autobackup.sh #測試腳本。
定義計(jì)劃任務(wù)實(shí)現(xiàn)定時備份：
[root@xuegod63 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root