1.備份服務(wù)介紹
1.1綜合架構(gòu)備份服務(wù)作用
保證數(shù)據(jù)不會(huì)丟失
便于數(shù)據(jù)進(jìn)行恢復(fù)
便于進(jìn)行數(shù)據(jù)對(duì)比
數(shù)據(jù)進(jìn)行定時(shí)備份
數(shù)據(jù)進(jìn)行實(shí)時(shí)備份
1.2綜合架構(gòu)備份服務(wù)如何實(shí)現(xiàn)
1.3綜合架構(gòu)備份服務(wù)部署(備份服務(wù)器配置文件參數(shù)信息)
rsync軟件是一個(gè)快速,多功能,遠(yuǎn)程和本地文件備份工具
rsync軟件可以實(shí)現(xiàn)全量和增量備份 (優(yōu)勢(shì))
增量備份是如何實(shí)現(xiàn)的
兩種方式:數(shù)學(xué)算法--數(shù)據(jù)比對(duì)
第一種:比對(duì)文件數(shù)據(jù)屬性信息(默認(rèn))
第二種:比對(duì)文件md5數(shù)值
rsync相當(dāng)于cp、rm、ls、scp
rsync軟件 cp scp rm ls 1v4
rsync替換cp:
cp /etc/hosts /tmp/ --- 備份文件
rsync /etc/hosts /tmp/ --- 備份文件
rsync -a /oldboy /tmp --- 備份目錄
PS:rsync備份目錄時(shí)
目錄后面有/ oldboy/ 將目錄下面的數(shù)據(jù)信息進(jìn)行備份
目錄后面沒有/ oldboy 將目錄下面的內(nèi)容以及目錄備份都進(jìn)行備份
rsync替換scp:遠(yuǎn)程備份
scp -rp /etc/hosts 172.16.1.31:/tmp --- 遠(yuǎn)程傳輸備份文件
rsync -rp /etc/hosts 172.16.1.31:/tmp
rsync替換rm:
mkdir /null
rsync -avz --delete /null/ /tmp --- 將目錄中的數(shù)據(jù)進(jìn)行刪除或者清空
--delete 無差異同步參數(shù)
rsync替換ls:
rsync /etc/hosts
-rw-r-xr-x 391 2019/06/11 09:36:15 hosts
raync命令詳細(xì)的語法說明
實(shí)現(xiàn)本地?cái)?shù)據(jù)備份:等價(jià)于cp
Local: rsync [OPTION...] SRC... [DEST]
src:需要備份的數(shù)據(jù)信息
dest:備份到什么路徑中
實(shí)現(xiàn)遠(yuǎn)程語法的備份(全量)
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
[USER@]: 以什么用戶身份登錄到遠(yuǎn)程主機(jī),默認(rèn)以當(dāng)前登錄用戶身份登錄遠(yuǎn)程主機(jī)
HOST: 遠(yuǎn)程主機(jī)IP地址或者主機(jī)名稱信息
SRC: 需要拉取的遠(yuǎn)程主機(jī)數(shù)據(jù)信息
dest: 數(shù)據(jù)保存到本地主機(jī)的路徑信息
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
SRC: 需要推送的本地主機(jī)數(shù)據(jù)信息
[USER@] 以什么用戶身份登錄到遠(yuǎn)程主機(jī),默認(rèn)以當(dāng)前登錄用戶身份登錄遠(yuǎn)程主機(jī)
HOST: 遠(yuǎn)程主機(jī)IP地址或者主機(jī)名稱信息
DEST: 數(shù)據(jù)保存到遠(yuǎn)程主機(jī)的路徑信息
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
src: 需要推送的本地主機(jī)數(shù)據(jù)信息
[USER@]: 輸入正確認(rèn)證用戶信息
HOST: 遠(yuǎn)程主機(jī)IP地址或者主機(jī)名稱信息
::DEST 指定備份數(shù)據(jù)的模塊信息
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
- 可以實(shí)現(xiàn)免交互傳輸數(shù)據(jù)
- 實(shí)現(xiàn)遠(yuǎn)程傳輸認(rèn)證功能
- 守護(hù)進(jìn)程方式具有配置文件,滿足更多企業(yè)需求
- 控制客戶端連接服務(wù)端的數(shù)量
rsync守護(hù)進(jìn)程的部署過程
服務(wù)端部署流程
第一個(gè)里程碑:確認(rèn)軟件是否安裝
rpm -qa rsync
如果沒有安裝
yum install -y rsync
第二個(gè)里程碑:編寫配置文件
vim /etc/rsyncd.conf
#rsync_config
#created by HQ at 2017
##rsyncd.conf start##
uid = rsync --- 備份目錄的管理用戶(屬主信息)???
gid = rsync --- 備份目錄的管理用戶(屬組信息)???
port = 873 --- rsync守護(hù)進(jìn)程服務(wù)端口號(hào)
fake(偽裝) super = yes --- ???
use chroot = no --- 和安全相關(guān)配置
max connections = 200 --- 最大連接數(shù)
timeout = 300 --- 設(shè)置連接的超時(shí)時(shí)間
pid file = /var/run/rsyncd.pid --- 記錄服務(wù)的進(jìn)程號(hào)碼信息(停止服務(wù)/判斷服務(wù)是否啟動(dòng))
lock file = /var/run/rsync.lock --- 鎖文件,進(jìn)行連接的限制
log file = /var/log/rsyncd.log --- 服務(wù)的日志文件
ignore errors --- 忽略錯(cuò)誤,提高傳輸數(shù)據(jù)效率
read only = false --- 設(shè)置備份目錄是可讀可寫
list = false --- ???
hosts allow = 172.16.1.0/24 --- 白名單(允許指定網(wǎng)段或者主機(jī))
hosts deny = 0.0.0.0/32 --- 黑名單(拒絕指定網(wǎng)段或者主機(jī))
auth users = rsync_backup --- 指定認(rèn)證的用戶
secrets file = /etc/rsync.password --- 創(chuàng)建一個(gè)密碼文件(用戶名稱:用戶密碼)
[backup] --- 模塊信息
comment = "backup dir by oldboy"
path = /backup --- 指定備份目錄路徑信息
第三個(gè)里程碑:創(chuàng)建備份目錄管理用戶
useradd rsync -s /sbin/nologin -M
第四個(gè)里程碑:創(chuàng)建認(rèn)證密碼信息,并修改權(quán)限
echo "rsync_backup:oldboy123" >/etc/rsync.password
chmod 600 /etc/rsync.password
第五個(gè)里程碑:創(chuàng)建備份目錄,并修改目錄權(quán)限
mkdir /backup
chown rsync.rsync /backup/
第六個(gè)里程碑:啟動(dòng)備份服務(wù)器的服務(wù)
systemctl start rsyncd
systemctl enable rsyncd
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
所有服務(wù)端部署流程:
01. 軟件部署安裝
02. 軟件配置文件編寫
03. 軟件環(huán)境準(zhǔn)備(目錄 文件 用戶信息)
04. 將服務(wù)進(jìn)行啟動(dòng) systemctl start/enable
05. 進(jìn)行服務(wù)程序驗(yàn)證
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
常見問題匯總Rsync服務(wù)常見問題匯總講解:
==================================
- rsync服務(wù)端開啟的iptables防火墻
【客戶端的錯(cuò)誤】
No route to host
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41: No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
【異常問題解決】
關(guān)閉rsync服務(wù)端的防火墻服務(wù)(iptables)
[root@backup mnt]# /etc/init.d/iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
[root@backup mnt]# /etc/init.d/iptables status
iptables: Firewall is not running.
- rsync客戶端執(zhí)行rsync命令錯(cuò)誤
【客戶端的錯(cuò)誤】
The remote path must start with a module name not a /
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【異常問題解決】
rsync命令語法理解錯(cuò)誤,::/backup是錯(cuò)誤的語法,應(yīng)該為::backup(rsync模塊)
- rsync服務(wù)認(rèn)證用戶失敗
【客戶端的錯(cuò)誤】
auth failed on module oldboy
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【異常問題解決】
密碼真的輸入錯(cuò)誤,用戶名真的錯(cuò)誤
secrets file = /etc/rsync.password指定的密碼文件和實(shí)際密碼文件名稱不一致
/etc/rsync.password文件權(quán)限不是600
rsync_backup:123456 密碼配置文件后面注意不要有空格
rsync客戶端密碼文件中只輸入密碼信息即可,不要輸入虛擬認(rèn)證用戶名稱
rsync服務(wù)位置模塊錯(cuò)誤
【客戶端的錯(cuò)誤】
Unknown module 'backup'
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
@ERROR: Unknown module 'backup'
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【異常問題解決】
/etc/rsyncd.conf配置文件模塊名稱書寫錯(cuò)誤
rsync服務(wù)權(quán)限阻止問題
【客戶端的錯(cuò)誤】
Permission denied
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
hosts
rsync: mkstemp ".hosts.5z3AOA" (in backup) failed: Permission denied (13)
sent 196 bytes received 27 bytes 63.71 bytes/sec
total size is 349 speedup is 1.57
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
【異常問題解決】
備份目錄的屬主和屬組不正確,不是rsync
備份目錄的權(quán)限不正確,不是755
rsync服務(wù)備份目錄異常
【客戶端的錯(cuò)誤】
chdir failed
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【異常問題解決】
備份存儲(chǔ)目錄沒有建立
建立的備份存儲(chǔ)目錄和配置文件定義不一致
說明:如果沒有備份存儲(chǔ)目錄rsync服務(wù)無效用戶信息
【客戶端的錯(cuò)誤】
invalid uid rsync
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: invalid uid rsync
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【異常問題解決】
rsync服務(wù)對(duì)應(yīng)rsync虛擬用戶不存在了
- 客戶端已經(jīng)配置了密碼文件,但免秘鑰登錄方式,依舊需要輸入密碼
【客戶端的錯(cuò)誤】
password file must not be other-accessible
【錯(cuò)誤演示過程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
password file must not be other-accessible
continuing without password file
Password:
sending incremental file list
sent 26 bytes received 8 bytes 5.23 bytes/sec
total size is 349 speedup is 10.26
【異常問題解決】
rsync客戶端的秘鑰文件也必須是600權(quán)限
- rsync客戶端連接慢問題
【錯(cuò)誤日志信息】
錯(cuò)誤日志輸出
2017/03/08 20:14:43 [3422] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
2017/03/08 20:14:43 [3422] name lookup failed for 172.16.1.31: Name or service not known
2017/03/08 20:14:43 [3422] connect from UNKNOWN (172.16.1.31)
2017/03/08 20:14:43 [3422] rsync to backup/ from rsync_backup@unknown (172.16.1.31)
2017/03/08 20:14:43 [3422] receiving file list
2017/03/08 20:14:43 [3422] sent 76 bytes received 83 bytes total size 349
正確日志輸出
2017/03/08 20:16:45 [3443] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
2017/03/08 20:16:45 [3443] connect from nfs02 (172.16.1.31)
2017/03/08 20:16:45 [3443] rsync to backup/ from rsync_backup@nfs02 (172.16.1.31)
2017/03/08 20:16:45 [3443] receiving file list
2017/03/08 20:16:45 [3443] sent 76 bytes received 83 bytes total size 349
【異常問題解決】
查看日志進(jìn)行分析,編寫rsync服務(wù)端hosts解析文件
10 rsync服務(wù)沒有正確啟動(dòng)
【錯(cuò)誤日志信息】
Connection refused (111)
【錯(cuò)誤演示過程】
[root@oldboy-muban ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
【異常問題解決】
[root@oldboy-muban ~]# rsync --daemon
[root@oldboy-muban ~]# ss -lntup |grep rsync
tcp LISTEN 0 5 :::873 :::* users:(("rsync",1434,5))
tcp LISTEN 0 5 *:873 *:* users:(("rsync",1434,4))
[root@oldboy-muban ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
hosts
sent 196 bytes received 27 bytes 49.56 bytes/sec
total size is 349 speedup is 1.57