1、企業(yè)的備份恢復(fù)案列（mysqldump+binlog），年終故障恢復(fù)演練
案例背景：某中小型互聯(lián)網(wǎng)公司。mysql 5.6.26 ,Cent0s 7.6 ,數(shù)據(jù)量級80G，每日數(shù)據(jù)增量5-6M
備份策略：每天mysqldump全備+Binlog備份
故障描述：周三下午兩點數(shù)據(jù)由于某原因數(shù)據(jù)損壞。
處理思路：
1、掛出維護(hù)頁。
2、評估一下數(shù)據(jù)損壞狀態(tài)
1)、全部丟失------>推薦直接生產(chǎn)恢復(fù)。
2）、部分丟失------>a.從備份中導(dǎo)出單表數(shù)據(jù) b.測試庫進(jìn)行全備恢復(fù)。
3、恢復(fù)全備，將數(shù)據(jù)追溯到周二晚上23:00狀態(tài)。
4、截取并恢復(fù)從備份時刻，到下午兩點誤刪除之前binlog。
5、校驗數(shù)據(jù)一致性。
6、撤維護(hù)頁，恢復(fù)生產(chǎn)。
處理結(jié)果：
1、經(jīng)過30-40分鐘處理，業(yè)務(wù)恢復(fù)
2、評估此次故障的處理的合理性和實用性
案例模擬：
1、進(jìn)行全備
mysqldump -uroot -p123 -A -R --triggers -E --master-data=2 --single-transaction >/data/backup/full.sql
vim /data/backup/full.sql
SET @@GLOBAL.GTID_PURGED='ac73f334-8d93-11e9-986d-000c2987e498:1-13';
--
-- Position to start replication or point-in-time recovery from
--
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000022', MASTER_LOG_POS=194;
2、模擬全備之后到下午2點之前的業(yè)務(wù)操作
create database mdp charset utf8mb4;
use mdp
create table t1(id int);
insert into t1 values(1),(2),(3);
insert into t1 values(11),(12),(13);
commit;
insert into t1 values(15);
commit;
update t1 set id=20 where id>10;
select * from t1;
3、模擬損壞
rm -rf /data/mysql/data
pkill mysqld
rm -rf /data/mysql/data
4、初始化數(shù)據(jù)
mysqld --initialize-insecure --user=mysql --datadir=/data/mysql/data --basedir=/application/mysql
systemctl start mysqld
5、進(jìn)行全備恢復(fù)
mysql -uroot -p
set sql_log_bin=0;
source /data/backup/full.sql;
flush privileges;
6、找日志起點和終點
vim /data/backup/full.sql
SET @@GLOBAL.GTID_PURGED='ac73f334-8d93-11e9-986d-000c2987e498:1-13';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000022', MASTER_LOG_POS=194;
mysqlbinlog --skip-gtids --include-gtids='ac73f334-8d93-11e9-986d-000c2987e498:14-17' /data/binlog/mysql-bin.000022 >/data/backup/bin.sql
7、登錄數(shù)據(jù)庫恢復(fù)日志
set sql_log_bin=0;
source /data/backup/bin.sql;
擴(kuò)展：從全備中導(dǎo)出單表備份
1、獲得表結(jié)構(gòu)
# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q' full.sql>createtable.sql
2、獲得INSERT INTO 語句，用于數(shù)據(jù)恢復(fù)
# grep -i 'INSERT INTO `city`' full.sqll >data.sql
3、獲取單庫的備份
# sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql
2、XBK的應(yīng)用
2.1安裝
2.1.1 安裝依賴包：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
下載工具
yum install percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
innobackupex --version
備份
innobackupex --user=root --password=123 /data/bak
cd /data/bak/2019-06-26_12-14-07
cat xtrabackup_binlog_info ------>包含二進(jìn)制日志 gtid position
cat xtrabackup_checkpoints ------->包含起始結(jié)束LSN號
cat xtrabackup_info ----->包含總體信息
2.2、備份命令介紹
xtrabackup
innobackupex *****
2.3、備份方式--------物理備份
(1)對于非innodb表（比如 myisam）是，鎖表cp數(shù)據(jù)文件，屬于溫備份
(2)對于innodb的表（支持事務(wù)的），不鎖表，拷貝數(shù)據(jù)頁，最終以數(shù)據(jù)文件的方式保存下來，把一部分redo和undo一并備走。屬于熱備方式。
面試題
xbk 在innodb表備份恢復(fù)的流程
備份過程：
1、ckpt，記錄ckpt后的LSN，to LSN
2、拷貝數(shù)據(jù)頁，保存為數(shù)據(jù)文件
3、自動將備份過程redo,會一并備份走，提取最后的LSN，last LSN
恢復(fù)：
其實就是模擬了CSR過程
對LAST LSN ,From LSN
使用redo進(jìn)行前滾，對未提交的事務(wù)進(jìn)行回滾
2.4、案列
2.4.1、XBK全備
1、全備
注意：備份工具依賴于/etc/my.cnf
vim /etc/my.cnf
[client]
socket=/tmp/mysql.sock
innobackupex --user=root --password=123 /data/bak
2、模擬數(shù)據(jù)庫損壞環(huán)境
pkill mysqld
rm -rf /data/mysql/data/*
2.4.2、全備的恢復(fù)
將redo進(jìn)行重做，已提交的寫入數(shù)據(jù)文件
innobackupex --apply-log /data/bak/2019-06-26_12-26-38
cp -a * /data/mysql/data/
chown -R mysql. /data/mysql/data/*
systemctl start mysqld
2.4.3、XBK增量備份
備份方式：基于上次的備份的增量
增量備份不能單獨恢復(fù)，必須合并到全備中一起恢復(fù)
1、全備
innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)
2. 模擬周一數(shù)據(jù)變化
mysql> create database xbk charset utf8mb4;
mysql> use xbk
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
3. 周一晚上增量備份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)
4. 模擬周二白天的數(shù)據(jù)變化
use xbk
create table t2(id int);
insert into t2 values(1),(2),(3);
commit;
5. 周二晚上的增量備份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)
6. 檢查備份沒有接上
cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoin
image.png
2.4.4、XBK增量恢復(fù)演示
思路：合并所有增量導(dǎo)全備
每個XBK備份都需要恢復(fù)準(zhǔn)備（prepare）
--apply-log
--redo-only 合并增量的時候用，防止回滾
1、整理全備
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/
2、整理并合并周一增量到全備
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/
3、整理并合并周二增量到全備
innobackupex --apply-log --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26
4、再次整理全備
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/
5、破壞并恢復(fù)
pkill mysqld
cd /data/mysql/data
rm -rf *
innobackupex --copy-back /data/bak/full_2019-06-26
chown -R mysql. /data/*
systemctl start mysqld
3. 企業(yè)備份恢復(fù)案例（XBK full+inc+binlog）
案例背景： 某中型互聯(lián)網(wǎng)公司。MySQL 5.7.26 ，Centos 7.6 ，數(shù)據(jù)量級600G，每日數(shù)據(jù)增量15-50M
備份策略： 周日XBK全備+周一到周六inc增量+binlog備份，每天23:00進(jìn)行。
故障描述： 周三下午2點，數(shù)據(jù)由于某原因數(shù)據(jù)損壞。
處理思路：
1. 掛出維護(hù)頁
2. 評估一下數(shù)據(jù)損壞狀態(tài)
2.1 全部丟失-->推薦直接生產(chǎn)恢復(fù)
2.2 部分丟失
3. 整理合并所有備份：full+inc1+inc2
4. 截取 周二晚上到周三下午午故障點的binlog日志
5. 恢復(fù)全備，恢復(fù)binlog
6. 檢查數(shù)據(jù)完整性
7. 恢復(fù)業(yè)務(wù)
處理結(jié)果：
1. 經(jīng)過70-80分鐘處理，業(yè)務(wù)恢復(fù)
2. 評估此次故障的處理的合理性和實用性
案例模擬：
1. 模擬周日的全備
innobackupex --user=root --password=123 --no-timestamp /data/bak/full
2. 模擬周一的數(shù)據(jù)變化
create database hisoss charset utf8mb4;
use hisoss
create table his_order(id int);
insert into his_order values(1),(2),(3);
commit；
3. 模擬周一的增量備份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1
4. 模擬周二數(shù)據(jù)變化
use hisoss
insert into his_order values(11),(12),(13);
commit；
5. 模擬周二的增量備份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2
6. 模擬周三數(shù)據(jù)變化
use hisoss
insert into his_order values(111),(222),(333);
commit；
7.破壞數(shù)據(jù)庫
pkill mysqld
cd /data/mysql/data
rm -rf *
8. 整理 合并備份
（1）整理全備
innobackupex --apply-log --redo-only /data/bak/full
（2）inc1 整理并合并
innobackupex --apply-log --redo-only --incremental --incremental-dir=/data/bak/inc1 /data/bak/full
（3）inc2 整理并合并
innobackupex --apply-log --incremental --incremental-dir=/data/bak/inc2 /data/bak/full
(4) 檢查
cd /data/bak
cat full/xtrabackup_checkpoints inc2/xtrabackup_checkpoints
（5）整理全備
innobackupex --apply-log /data/bak/full
9.恢復(fù)備份數(shù)據(jù)
cp -a /data/bak/full/* /data/mysql/data/
chown -R mysql. /data/*
systemctl start mysqld
10. 截取周二晚上11點到下午2點的數(shù)據(jù)
cd /data/bak/inc2
cat xtrabackup_binlog_info
mysql -uroot -p
show binlog events in 'mysql-bin.000030';
mysqlbinlog --skip-gtids --include-gtids='2f3b00d2-97ed-11e9-8dae-000c2987e498:5' /data/binlog/mysql-bin.000030 >/data/bak/bin.sql
恢復(fù)：
set sql_log_bin=0;
source /data/bak/bin.sql;
use hisoss;
select * from his_order;
擴(kuò)展
假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥？
alter table t1 diacard tablespace
alter table t1 import tablespace
4、MySQL數(shù)據(jù)遷移
4.0、遷移前靠考慮的問題
技術(shù)方面
選擇什么工具 MDP XBK
非技術(shù)方面
停機時間
回退方案
4.1、換主機
4.1.1、數(shù)據(jù)量小
思路：
1. 在線 MDP , XBK備份出來，scp到目標(biāo)主機
2. 追加所有備份后的日志
3. 申請停機
4. 剩余部分的binlog繼續(xù)恢復(fù)（搭建主從的方式來替代）
5. 校驗數(shù)據(jù)
6. 進(jìn)行業(yè)務(wù)割接
4.1.2、數(shù)據(jù)量大
1. XBK備份出來，scp到目標(biāo)主機
2. 搭建主從的方式
3. 申請停機15分鐘
4. 校驗數(shù)據(jù)
5. 進(jìn)行業(yè)務(wù)割接
4.2、換版本升級
例如：
5.6 ----> 5.7
（1）方法一：
建議使用mysqldump邏輯備份方式，按業(yè)務(wù)庫進(jìn)行分別備份，排除掉 information_schema,performance_schema,sys
恢復(fù)完成后，升級數(shù)據(jù)字典
（2）方法二：
進(jìn)行過濾復(fù)制，排除掉 information_schema,performance_schema,sys
4.3、異構(gòu)平臺- 系統(tǒng)不一樣
系統(tǒng)不一樣，只能用mysqldump邏輯備份
4.4、異構(gòu)- 數(shù)據(jù)庫產(chǎn)品不同
Oracle ---OGG-----> MySQL
MySQL ---CSV------>MogoDB
MySQL ---JSON----->MogoDB
