day10 備份恢復(fù)

一、企業(yè)的備份恢復(fù)案例 (mysqldump+binlog)

案例背景：

某中小型互聯(lián)網(wǎng)公司：MySQL 5.7.26 CentOS 7.6
數(shù)據(jù)量級(jí) 80G，每日數(shù)據(jù)量增5—6G

備份策略：

每天mysqldump全備+binlog備份，每天23：00進(jìn)行

故障描述：

周三下午14時(shí)，數(shù)據(jù)由于某種原因數(shù)據(jù)損壞

處理思路：

1. 掛出維護(hù)頁(yè)
2. 評(píng)估一下數(shù)據(jù)損壞的狀態(tài)
   2.1 全部丟失--->推薦直接生產(chǎn)恢復(fù)
   2.2 部分丟失--->(1) 從備份中導(dǎo)出單表數(shù)據(jù)
　　　　　　　      (2)測(cè)試庫(kù)中進(jìn)行全備恢復(fù)　
3. 恢復(fù)備份，將數(shù)據(jù)追溯到周二晚上23：00
4. 截取并恢復(fù)到備份時(shí)刻，到下午兩點(diǎn)誤刪除之前的binlog
5. 校驗(yàn)數(shù)據(jù)一致性
6.  撤維護(hù)頁(yè)，恢復(fù)生產(chǎn)

處理結(jié)果：

  1. 經(jīng)過(guò)30—40分鐘處理，業(yè)務(wù)恢復(fù)
  2. 評(píng)估此次故障的處理的合理性和實(shí)用性

案例模擬：

1.進(jìn)行全備

mysqldump -uroot -p123  -A -R --triggers -E --master-data=2 --single-transaction >/data/backup/full.sql
--->進(jìn)行全備
vim full.sql   --->查看如下內(nèi)容：
SET @@GLOBAL.GTID_PURGED='3955eabf-8d95-11e9-b6fa-000c296913bb:1-11';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000014', MASTER_LOG_POS=194;

2. 模擬全備之后到下午兩點(diǎn)

mysql> create database mdp charset utf8mb4;
mysql> use mdp
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
mysql> insert into t1 values(4),(5),(6);
mysql> commit;
mysql> insert into t1 values(7),(8),(9);
commit;
mysql> update t1 set id=20 where id>10;
mysql> commit;

3. 模擬破壞

[root@db01 /data/mysql/data]# \rm -rf /data/mysql/data/*
[root@db01 /data/mysql/data]# pkill mysqld
[root@db01 /data/mysql/data]# \rm -rf /data/mysql/data/*

4. 初始化數(shù)據(jù)

[root@db01 /data/mysql/data]# mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data

5. 進(jìn)行全備恢復(fù)

mysql> set sql_log_bin=0;
mysql> source /data/backup/full.sql
mysql> flush privileges;

6. 找日志起點(diǎn)和重點(diǎn)

[root@db01 /data/mysql/data]# vim full.sql

SET @@GLOBAL.GTID_PURGED='3955eabf-8d95-11e9-b6fa-000c296913bb:1-11';           
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000014', MASTER_LOG_POS=194;

[root@db01 /data/mysql/data]# mysqlbinlog --skip-gtids --include-gtids='3955eabf-8d95-11e9-b6fa-000c296913bb:12-14' /data/binlog/mysql-bin.000014 >/data/backup/bin.sql
或者：
[root@db01 /data/mysql/data]# mysqlbinlog --skip-gtids --start-position=194 /data/binlog/mysql-bin.000014 >/tmp/a.sql

7. 恢復(fù)日志

mysql> set sql_log_bin=0;
mysql> source /data/backup/bin.sql

擴(kuò)展：從全備中導(dǎo)出單表結(jié)構(gòu)

1. 獲得表結(jié)構(gòu)
   sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql
2. 獲得INSERT INTO 語(yǔ)句，用于數(shù)據(jù)的恢復(fù)
   grep -i 'INSERT INTO `city`'  full.sqll >data.sql
3. 獲取單庫(kù)的備份
   sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

二、XBK的應(yīng)用

2.1 安裝

2.1.1 安裝依賴包

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

2.1.2 下載軟件并安裝

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

2.2 備份命令介紹

xerabackup
innobackupex   *****

2.3 備份方式——物理備份

(1) 對(duì)于非Innodb表(比如myisam)是，鎖表CP數(shù)據(jù)文件，屬于一種溫備份。
(2) 對(duì)于Innodb的表(支持事務(wù)的)，不鎖表，拷貝數(shù)據(jù)頁(yè)，最終以數(shù)據(jù)文件的方式保存下來(lái)，把一部分redo和undo一并備份走，屬于熱備方式。

面試題：XBK在innodb表備份恢復(fù)的流程

  1. XBK備份執(zhí)行的瞬間，立即觸發(fā)ckpt，已提交的數(shù)據(jù)臟頁(yè)，從內(nèi)存刷寫到磁盤，并記錄此時(shí)的LSN號(hào)
  2. 備份時(shí)，拷貝磁盤數(shù)據(jù)頁(yè)，并且記錄備份過(guò)程中產(chǎn)生的redo和undo一起拷貝走，也就是checkpoint LSN之后的日志
  3. 在恢復(fù)之前，模擬Inodb“自動(dòng)故障恢復(fù)”的過(guò)程，將redo（前滾）和undo（回滾）進(jìn)行應(yīng)用
  4. 恢復(fù)過(guò)程是CP 備份到原來(lái)數(shù)據(jù)目錄下
備份過(guò)程：
  1. ckpt，記錄ckpt后LSN，to lsn
  2. 拷貝數(shù)據(jù)頁(yè)，保存為數(shù)據(jù)文件
  3. 自動(dòng)將備份過(guò)程redo，會(huì)一并備份走，提取最后的last LSN
恢復(fù)：

其實(shí)就是模擬了CSR過(guò)程
對(duì)比last lsn，to lsn
使用redo進(jìn)行前滾，對(duì)未提交的事務(wù)進(jìn)行回滾
最后得到一個(gè)一致性備份

2.4 innobackupex的使用

2.4.1 全備

[root@db01 backup]# innobackupex --user=root --password=123 /data/bak
注意：
備份工具是依賴于/etc/my.cnf
[mysqld]
[client]
[innodbckupex]
如果說(shuō)配置文件沒(méi)有在/etc，可以如下操作：
[root@db01 backup]# innobackupex --defaults-file=xxx --user=root --password=123 /data/bak
自主定制備份路徑名
[root@db01 backup]# innobackupex --user=root -password=123 --no-timestamp /data/bak/full_$(date +%F)
備份集中多出來(lái)的文件：
-rw-r----- 1 root root       24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root      119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root      489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root     2560 Jun 29 09:59 xtrabackup_logfile

xtrabackup_binlog_info ：（備份時(shí)刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info 
mysql-bin.000003    536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時(shí)刻，binlog的文件名字和當(dāng)時(shí)的結(jié)束的position，可以用來(lái)作為截取binlog時(shí)的起點(diǎn)。

xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0            上次所到達(dá)的LSN號(hào)(對(duì)于全備就是從0開(kāi)始,對(duì)于增量有別的顯示方法)
to_lsn = 160683027      備份開(kāi)始時(shí)間(ckpt)點(diǎn)數(shù)據(jù)頁(yè)的LSN    
last_lsn = 160683036    備份結(jié)束后，redo日志最終的LSN
compact = 0
recover_binlog_info = 0

（1）備份時(shí)刻，立即將已經(jīng)commit過(guò)的，內(nèi)存中的數(shù)據(jù)頁(yè)刷新到磁盤(CKPT).開(kāi)始備份數(shù)據(jù)，數(shù)據(jù)文件的LSN會(huì)停留在to_lsn位置。
（2）備份時(shí)刻有可能會(huì)有其他的數(shù)據(jù)寫入，已備走的數(shù)據(jù)文件就不會(huì)再發(fā)生變化了。
（3）在備份過(guò)程中，備份軟件會(huì)一直監(jiān)控著redo的undo，如果一旦有變化會(huì)將日志也一并備走，并記錄LSN到last_lsn。
從to_lsn  ----》last_lsn 就是，備份過(guò)程中產(chǎn)生的數(shù)據(jù)變化.

2.4.2 全備的恢復(fù)

準(zhǔn)備備份(Preapred)
將redo進(jìn)行重做，已提交的寫到數(shù)據(jù)文件，未提交的使用undo回滾掉，模擬了CSR的過(guò)程
[root@db01 ~]# innobackupex --apply-log /backup/full/
恢復(fù)備份：
前提：
1. 被恢復(fù)的目錄是空
2. 被恢復(fù)的數(shù)據(jù)庫(kù)的實(shí)例是關(guān)閉

[root@db01/data/bak]# pkill mysqld
[root@db01/data/bak]# cd /data/mysql/data/
[root@db01/data/mysql/data]# \rm -rf /data/mysql/data/*
[root@db01/data/bak]# innobackupex --apply-log /data/bak/2019-06-26_12-13-07/
[root@db01/data/bak]# cd 2019-06-26_12-13-07/
[root@db01/data/bak/2019-06-26_12-13-07]# cp -a * /data/mysql/data/
[root@db01/data/mysql/data]# chown -R mysql.mysql *
[root@db01/data/mysql/data]# systemctl start mysqld

2.4.3 XBK增量備份

備份方式：基于上次備份的增量
增量備份不能單獨(dú)恢復(fù)，必須合并到全備中，一起恢復(fù)

1. 周日全備
[root@db01/data/bak]# innobackupex --user=root -password=123 --no-timestamp /data/bak/full_$(date +%F)

2. 模擬周一數(shù)據(jù)變化
mysql> create database xbk charset utf8mb4;
mysql> use xbk;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

3. 周一晚上增量備份
[root@db01/data/bak]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)

4. 模擬周二白天的數(shù)據(jù)變化
mysql> use xbk;
mysql> create table t2(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

5. 周二晚上的增量備份
[root@db01/data/bak]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)

2.4.5 XBK增量恢復(fù)演示

思路：
合并所有增量到全備
每個(gè)XBK備份都需要恢復(fù)準(zhǔn)備(prepare)
--apply-log  --redo-only

1. 整理全備
[root@db01/data/bak]# innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/

2. 整理合并周一增量到全備
[root@db01/data/bak]# innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/

3. 整理合并周二增量到全備
[root@db01/data/bak]# innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-02-26/

4. 再次整理全備
[root@db01/data/bak]# innobackupex --apply-log  /data/bak/full_2019-06-26

5.破壞數(shù)據(jù)庫(kù)，恢復(fù)數(shù)據(jù)
[root@db01/data/bak]# pkill mysqld
[root@db01/data/bak]# \rm -rf /data/mysql/data/*
[root@db01/data/bak]# innobackupex --copy-back /data/bak/full_2019-06-26
[root@db01/data/bak]# chown -R mysql.mysql /data/*
[root@db01/data/bak]# systemctl start mysqld

三、企業(yè)備份恢復(fù)案例（XBK full_inc_binlog）

案例背景：某種小型互聯(lián)網(wǎng)公司。 MySQL：5.7.26  CentOS：7.6
         數(shù)據(jù)量級(jí)600G，每日數(shù)量增加15—50M
備份策略：周日XBK全備+周一到周六inc增量+binlog備份，每天23：00進(jìn)行。
故障描述：周三下午14時(shí)，數(shù)據(jù)由于某種原因數(shù)據(jù)損壞。
處理思路：
         1. 掛出維護(hù)頁(yè)
         2. 評(píng)估一下數(shù)據(jù)損壞狀態(tài)
             2.1 全部丟失--->直接推薦生產(chǎn)恢復(fù)
             2.2 部分丟失
         3. 整理合并所有備份：full+inc1+inc2
         4. 截取周二晚上到周三下午故障點(diǎn)的binlog日志
         5. 恢復(fù)全備，恢復(fù)binlog
         6. 檢查數(shù)據(jù)完整性
         7. 恢復(fù)業(yè)務(wù)
處理結(jié)果：
         1. 經(jīng)過(guò)70-80分鐘處理，業(yè)務(wù)恢復(fù)
         2. 評(píng)估此次故障的處理的合理性和實(shí)用性
案例模擬：
1. 模擬周日全備
[root@db01/data/bak]# innobackupex --user=root --password=123 --no-timestamp /data/bak/full
2. 模擬周一的數(shù)據(jù)變化
mysql> create database hisoss charset utf8mb4;
mysql> use hisoss;
mysql> create table his_order(id int);
mysql> insert into his_order values(1),(2),(3);
mysql> commit;
3. 模擬周一的增量備份
[root@db01/data/bak]# innobackup --user=root --password=123 --notimestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1
4. 模擬周二的數(shù)據(jù)變化
mysql> use hisoss;
mysql> insert into his_order values(4),(5),(6);
mysql> commit;
5. 模擬周二數(shù)據(jù)的增量備份
[root@db01/data/bak]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc2
6. 模擬周三的數(shù)據(jù)變化
mysql> use hisoss;
mysql> insert into his_orser values(7),(8),(9);
mysql> commit;
7. 把數(shù)據(jù)庫(kù)data目錄rm掉
[root@db01/data/bak]# pkill mysqld
[root@db01/data/bak]# \rm -rf /data/mysql/data/*
8. 整理 合并備份
  (1) 整理全備
  [root@db01/data/bak]# innobackupex --apply-log --redo-only /data/bak/full
  (2) inc1合并到full中
  [root@db01/data/bak]# innobackupex --apply-log --incremental-dir=/data/bak/inc1 /data/bak/full
  (3) inc2合并到full中
  [root@db01/data/bak]# innobackupex --apply-log --incremental-dir=/data/bak/inc2 /data/bak/full
  (4)整體的整理
  [root@db01/data/bak]# innobackupex --apply-log /data/bak/full
9.恢復(fù)備份數(shù)據(jù)
[root@db01/data/bak]# cp -a /data/bak/full/* /data/mysql/data
[root@db01/data/bak]# chown -R mysql.mysql /data/*
10. 截取二進(jìn)制日志并恢復(fù)
[root@db01/data/bak]# mysqlbinlog --skip-gtids --include-gtids='180629c3-97ed-11e9-aeaa-000c29099eb6:5' /data/binlog/mysql-bin.000050 >/data/bak/bin.sql
恢復(fù)：
mysql> set sql_log_bin=0;
mysql> source /data/bak/bin.sql

擴(kuò)展： 
假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？
alter table t1  discard tablespace
alter table t1  import  tablespace

innobackupex --user=root --password=123 --defaults-file=/etc/my.cnf --no-timestamp --stream=tar --use-memory=256M  --parallel=8 /data/mysql_backup | gzip | ssh root@10.0.0.52 " cat - > /data/mysql_backup.tgz"

 --stream=tar 
 --use-memory=256M  
 --parallel=8

四、MySQL數(shù)據(jù)遷移

4.0 遷移前要考慮的問(wèn)題

技術(shù)方面：
選擇什么工具？MDP XBK
非技術(shù)方面：
停機(jī)時(shí)間
回退方案

4.1 換主機(jī)

XBK備份出來(lái)，scp到目標(biāo)主機(jī)
搭建主從的方式
申請(qǐng)停機(jī)15分鐘
校驗(yàn)數(shù)據(jù)
進(jìn)行業(yè)務(wù)割接

4.2 換版本升級(jí)

例如：
  5.6 ----->5.7 
(1) 方法一：
    建議使用 mysqldump邏輯備份方式，按業(yè)務(wù)庫(kù)進(jìn)行分別備份，排除掉 information_schema,performance_schema,sys
    恢復(fù)完成后，升級(jí)數(shù)據(jù)字典
(2) 方法二：
    進(jìn)行過(guò)濾復(fù)制，排除掉 information_schema,performance_schema,sys

4.3 異構(gòu)遷移——系統(tǒng)不一樣

只能用邏輯備份

4.4 異構(gòu)遷移-數(shù)據(jù)庫(kù)產(chǎn)品不同

Oracle --OGG------> MYSQL
MySQL ---CSV--> MongoDB
MySQL ---JSON--> MongoDB

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容