今日預(yù)告：

1、企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

《年終故障恢復(fù)演練》

案例背景：
某種小型互聯(lián)網(wǎng)公司，MySQL-5.7.26，CentOS-7.6，數(shù)據(jù)量級80G，每日數(shù)據(jù)增量5-6M

備份策略：
每天myqldump全備+binlog備份，每天23：00進行

故障描述：
周三下午2點，由于某原因?qū)е聰?shù)據(jù)損壞

處理思路：

1. 掛出維護頁

2. 評估數(shù)據(jù)損壞狀態(tài)
  2.1 全部丟失 ---> 推薦直接生產(chǎn)恢復(fù)
  2.2 部分丟失 ---> （1）從備份中導(dǎo)出單表數(shù)據(jù)
                    （2）測試庫進行全備恢復(fù)

3. 恢復(fù)全備，將數(shù)據(jù)追溯到周二晚上23：00狀態(tài)

4. 截取并恢復(fù)從備份時起，到下午兩點誤刪除之前的binlog

5. 校驗數(shù)據(jù)一致性

6. 撤回維護頁，恢復(fù)生產(chǎn)。

處理結(jié)果：

1. 經(jīng)過30-40分鐘處理，業(yè)務(wù)恢復(fù)

2. 評估此次故障處理的合理性和實用性

案例模擬：

1. 進行周二全備

[root@db01 ~]# mysqldump -uroot -p123  -A -R --triggers -E --master-data=2 --single-transaction >/data/backup/full.sql

[root@db01 /data/backup]# vim full.sql 
SET @@GLOBAL.GTID_PURGED='1357a112-8d94-11e9-8bda-000c29c21dbb:1-12';
--
-- Position to start replication or point-in-time recovery from
--
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000007', MASTER_LOG_POS=194;
--

2. 模擬全備之后下午兩點前的業(yè)務(wù)操作

mysql> create database mdp charset utf8mb4;
mysql> use mdp
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
mysql> insert into t1 values(11),(12),(13);
mysql> commit;
mysql> update t1 set id=20 where id>10;
mysql> commit;

3. 模擬損壞數(shù)據(jù)庫

rm-rf /data/mysql/data/*
pkill mysqld
rm -rf /data/mysql/data/*

4. 初始化數(shù)據(jù)

[root@db01 /data/mysql/data]# mysqld --initialize-insecure --user=mysql  --basedir=/application/mysql --datadir=/data/mysql/data
[root@db01 /data/mysql/data]# /etc/init.d/mysqld start

5. 進行全備恢復(fù)

set sql_log_bin=0;                         #關(guān)閉日志
source /data/backup/full.sql               #恢復(fù)
flush privileges;                          #刷新

6. 找日志起點和終點

image.png

#截取日志

mysqlbinlog --skip-gtids --include-gtids='1357a112-8d94-11e9-8bda-000c29c21dbb:13-17' /data/binlog/mysql-bin.000007 >/data/backup/bin.sql

7. 恢復(fù)日志

set sql_log_bin=0;
source /data/backup/bin.sql;
show databases;

擴展：從全備中導(dǎo)出單表備份

1、獲得表結(jié)構(gòu)
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql

2、獲得INSERT INTO 語句，用于數(shù)據(jù)的恢復(fù)
grep -i 'INSERT INTO `city`'  full.sqll >data.sql 

3.獲取單庫的備份
sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

image.png

作業(yè)：
模仿以上備份命令，書寫備份腳本。

2、XBK的應(yīng)用

2.1 安裝

2.1.1 安裝依賴包：

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

2.1.2 下載軟件并安裝

#上傳percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

[root@db01 ~]# yum install -y percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

[root@db01 ~]# innobackupex --version

2.2 備份命令介紹

xtrabackup
innobackupex *****

2.3 備份方式——物理備份

（1）對于非Innodb表（比如 myisam）是，鎖表cp數(shù)據(jù)文件，屬于一種溫備份。
（2）對于Innodb的表（支持事務(wù)的），不鎖表，拷貝數(shù)據(jù)頁，最終以數(shù)據(jù)文件的方式保存下來，把一部分redo和undo一并備走，屬于熱備方式。

面試題： xbk 在innodb表備份恢復(fù)的流程

xbk備份執(zhí)行的瞬間,立即觸發(fā)ckpt,已提交的數(shù)據(jù)臟頁,從內(nèi)存刷寫到磁盤,并記錄此時的LSN號

備份時，拷貝磁盤數(shù)據(jù)頁，并且記錄備份過程中產(chǎn)生的redo和undo一起拷貝走,也就是checkpoint LSN之后的日志

在恢復(fù)之前，模擬Innodb“自動故障恢復(fù)”的過程，將redo（前滾）與undo（回滾）進行應(yīng)用

恢復(fù)過程是cp 備份到原來數(shù)據(jù)目錄下

精簡說明

   備份過程：
   1. ckpt ，記錄ckpt后LSN ,From lsn
   2. 拷貝數(shù)據(jù)頁 ，保存為數(shù)據(jù)文件
   3. 自動將備份過程redo，會一并備份走，提取最后的LSN ,to LSN
   
   恢復(fù)： 
   其實就是模擬了CSR過程
   對比LAST LSN ,From lsn
   使用redo進行前滾，對未提交的事務(wù)進行回滾
   最后得到一個一致性備份

2.4 innobackupex使用

2.4.1 全備

[root@mysql ~]# mkdir -p /data/backup/bak

方法一：

[root@db01 ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=123 /data/bak

方法二：

必須在配置文件加上client

vim /etc/my.cnf
[mysqld]
[client]
socket=/tmp/mysql.sock

[root@db01 backup]# innobackupex --user=root --password=123  /data/bak

模擬刪除數(shù)據(jù)：

[root@db01 /data/bak]# pkill mysqld
[root@db01 /data/bak]# \rm -rf /data/mysql/data/*

恢復(fù)前準(zhǔn)備：

[root@mysql /data/bak]# innobackupex --apply-log /data/bak/2019-06-26_12-16-35/

恢復(fù)：

[root@mysql /data/bak/2019-06-26_12-13-17]# cp -a * /data/mysql/data/

[root@mysql /data/mysql/data]# chown -R mysql.  /data/

恢復(fù)測試：

[root@mysql /data/mysql/data]# /etc/init.d/mysqld start

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| bao                |
| bbs                |
| binlog             |
| gg                 |
| mdb                |
| mysql              |
| oldboy             |
| oldboy1            |
| oldguo             |
| performance_schema |
| school             |
| sys                |
| wordpress          |
| world              |
+--------------------+
15 rows in set (0.00 sec)

2.4.2 自主定制備份路徑名

[root@db01 backup]# 
innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)

備份集中多出來的文件：

-rw-r----- 1 root root       24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root      119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root      489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root     2560 Jun 29 09:59 xtrabackup_logfile

xtrabackup_binlog_info ：（備份時刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info 
mysql-bin.000003    536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時刻，binlog的文件名字和當(dāng)時的結(jié)束的position，可以用來作為截取binlog時的起點。

xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0            上次所到達的LSN號(對于全備就是從0開始,對于增量有別的顯示方法)
to_lsn = 160683027      備份開始時間(ckpt)點數(shù)據(jù)頁的LSN    
last_lsn = 160683036    備份結(jié)束后，redo日志最終的LSN
compact = 0
recover_binlog_info = 0
（1）備份時刻，立即將已經(jīng)commit過的，內(nèi)存中的數(shù)據(jù)頁刷新到磁盤(CKPT).開始備份數(shù)據(jù)，數(shù)據(jù)文件的LSN會停留在to_lsn位置。
（2）備份時刻有可能會有其他的數(shù)據(jù)寫入，已備走的數(shù)據(jù)文件就不會再發(fā)生變化了。
（3）在備份過程中，備份軟件會一直監(jiān)控著redo的undo，如果一旦有變化會將日志也一并備走，并記錄LSN到last_lsn。
從to_lsn  ----》last_lsn 就是，備份過程中產(chǎn)生的數(shù)據(jù)變化。

2.4.3 XBK 增量備份

備份方式：
基于上次的備份的增量
增量備份不能單獨恢復(fù)，必須合并到全備中，一起恢復(fù)。

1. 周日全備

[root@db01 /data/bak]# 
innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)

2. 模擬周一數(shù)據(jù)變化

mysql> create database xbk charset utf8mb4; 
mysql> use xbk
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

3. 周一晚上增量備份

[root@db01 /data/bak]# 
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)

4. 模擬周二白天數(shù)據(jù)變化

mysql> use xbk;
mysql> create table t2(id int);
mysql> insert into t2 values(1),(2),(3);
mysql> commit;

5. 周二晚上增量備份

[root@db01 /data/bak]# 
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)

[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints  inc2_2019-06-26/xtrabackup_checkpoints

backup_type = full-backuped
from_lsn = 0
to_lsn = 104997435
last_lsn = 104997444
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0

2.4.5 XBK增量恢復(fù)演示

思路：
合并所有增量到全備
每個XBK備份都需要恢復(fù)準(zhǔn)備（prepare）
--apply-log --redo-only

1. 整理全備

[root@db01 /data/bak]# 
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/

2. 整理并合并周一增量到全備

[root@db01 /data/bak]# 
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/

[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints 

backup_type = log-applied
from_lsn = 0
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
============================
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0

3. 整理并合并周二的增量到全備

[root@db01 /data/bak]# 
innobackupex --apply-log  --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26/

[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints 
backup_type = full-prepared
from_lsn = 0
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0

4. 再次整理全備

[root@db01 /data/bak]# 
innobackupex --apply-log  /data/bak/full_2019-06-26/

[root@db01 /data/bak]# cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints inc2_2019-06-26/xtrabackup_checkpoints 

backup_type = full-prepared
from_lsn = 0
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 104997435
to_lsn = 105004202
last_lsn = 105004211
compact = 0
recover_binlog_info = 0
backup_type = incremental
from_lsn = 105004202
to_lsn = 105010038
last_lsn = 105010047
compact = 0
recover_binlog_info = 0

5. 破壞數(shù)據(jù)庫，并恢復(fù)數(shù)據(jù)

[root@db01 /data/bak]# pkill mysqld
[root@db01 /data/bak]# \rm -rf /data/mysql/data/*

恢復(fù)數(shù)據(jù)

[root@db01 /data/bak]# innobackupex --copy-back /data/bak/full_2019-06-26

[root@db01 /data/mysql/data]# chown -R mysql.mysql /data/*

[root@db01 /data/mysql/data]# /etc/init.d/mysqld start

3、企業(yè)備份恢復(fù)案例（ XBK full + inc + binlog ）

案例背景:
某中型互聯(lián)網(wǎng)公司。
MySQL 5.7.26 , Centos 7.6 ,數(shù)據(jù)量級600G,每日數(shù)據(jù)增量15-50M。

備份策略:
周日XBK全備+周一到周六inc增量+binlog備份,每天23:00進行。

故障描述:
周三下午2點,數(shù)據(jù)由于某原因數(shù)據(jù)損壞。

處理思路：

掛出維護頁

評估一下數(shù)據(jù)損壞狀態(tài)
2.1 全部丟失->推薦直接生產(chǎn)恢復(fù)
2.2 部分丟失

整理合并所有備份：full + inc1 + inc2

截取周二晚上到周三下午故障點的binlog日志

恢復(fù)全備，恢復(fù)binlog

檢查數(shù)據(jù)完整性

恢復(fù)業(yè)務(wù)

處理結(jié)果：

經(jīng)過70-80分鐘處理，業(yè)務(wù)恢復(fù)
評估此次故障

案例模擬：

1. 模擬周日全備

[root@db01 ~]# 
innobackupex --user=root --password=123 --no-timestamp /data/bak/full

2. 模擬周一的數(shù)據(jù)變化

mysql> create database hisoss charset utf8mb4;
mysql> use hisoss;
mysql> create table his_order(id int);
mysql> insert into his_order values(1),(2),(3);
mysql> commit;

3. 周一增量備份

[root@db01 /data/bak]# 
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1

4. 模擬周二的數(shù)據(jù)變化

mysql> use hisoss;
mysql> insert into his_order values(11),(22),(33);
mysql> commit;

5. 周二的增量備份

[root@db01 ~]# 
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2

6. 模擬周三的數(shù)據(jù)變化

mysql> use hisoss;
mysql> insert into his_order values(111),(222),(333);
mysql> commit;

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

pkill mysqld 
 \rm -rf /data/mysql/data/*

8. 整理、合并備份

8.1 整理全備

[root@db01 /data/mysql/data]# 
innobackupex --apply-log --redo-only /data/bak/full

8.2 inc1 合并并整理到full中

[root@db01 ~]# 
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc1 /data/bak/full

8.3 inc2 合并并整理到full中

[root@db01 ~]# 
innobackupex --apply-log --incremental-dir=/data/bak/inc2 /data/bak/full

8.4 整體的整理

innobackupex --apply-log  /data/bak/full

9. 恢復(fù)數(shù)據(jù)

 [root@db01 /data/mysql/data]# 
cp -a /data/bak/full/* /data/mysql/data/

10.

image.png

擴展：

假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？

image.png

4. MySQL數(shù)據(jù)遷移

4.0 遷移前要考慮的問題

技術(shù)方面
選擇什么工具、方法

非技術(shù)
停機時間
回退方案

4.1 換主機

4.1.1 數(shù)據(jù)量小

思路：

MDP，XBK備份出來，scp到目標(biāo)主機
追加所有備份后的日志
3.申請停機
剩余部分的binlog繼續(xù)恢復(fù)（搭建主從的方式來替代）
校驗數(shù)據(jù)
進行業(yè)務(wù)割接

4.1.2 數(shù)據(jù)量大

XBK備份出來，scp到目標(biāo)主機
搭建主從的方式
申請停機15分鐘
校驗數(shù)據(jù)
進行業(yè)務(wù)割接

4.2 換版本升級

例如：
5.6 ---> 5.7

（1）方法一：

建議使用mysqldump邏輯備份方式，按業(yè)務(wù)庫進行分別備份，排除掉information_schema,performance_schema,sys

（2）方法二：

進行過濾復(fù)制，排除掉
information_schema,performance_schema,

4.3 異構(gòu)平臺——系統(tǒng)不一樣

只能用邏輯備份

4.4 異構(gòu)平臺——數(shù)據(jù)庫產(chǎn)品不同

Oracle --- OGG ---> MySQL

MySQL --- CSV ---> MongoDB
MySQL --- JSON ---> MongoDB

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

2019-06-26 Day10~MySQL-備份恢復(fù)遷移

2019-06-26 Day10~MySQL-備份恢復(fù)遷移

1、企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

《年終故障恢復(fù)演練》

案例模擬：

2、XBK的應(yīng)用

2.1 安裝

2.2 備份命令介紹

2.3 備份方式——物理備份

2.4 innobackupex使用

2.4.1 全備

2.4.2 自主定制備份路徑名

2.4.3 XBK 增量備份

2.4.5 XBK增量恢復(fù)演示

3、企業(yè)備份恢復(fù)案例（ XBK full + inc + binlog ）

案例模擬：

1. 模擬周日全備

2. 模擬周一的數(shù)據(jù)變化

3. 周一增量備份

4. 模擬周二的數(shù)據(jù)變化

5. 周二的增量備份

6. 模擬周三的數(shù)據(jù)變化

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理、合并備份

9. 恢復(fù)數(shù)據(jù)

10.

擴展：

假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？

4. MySQL數(shù)據(jù)遷移

4.0 遷移前要考慮的問題

4.1 換主機

4.1.1 數(shù)據(jù)量小

4.1.2 數(shù)據(jù)量大

4.2 換版本升級

4.3 異構(gòu)平臺——系統(tǒng)不一樣

4.4 異構(gòu)平臺——數(shù)據(jù)庫產(chǎn)品不同

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

2019-06-26 Day10~MySQL-備份恢復(fù)遷移

1、企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

《年終故障恢復(fù)演練》

案例模擬：

2、XBK的應(yīng)用

2.1 安裝

2.2 備份命令介紹

2.3 備份方式——物理備份

2.4 innobackupex使用

2.4.1 全備

2.4.2 自主定制備份路徑名

2.4.3 XBK 增量備份

2.4.5 XBK增量恢復(fù)演示

3、企業(yè)備份恢復(fù)案例（ XBK full + inc + binlog ）

案例模擬：

1. 模擬周日全備

2. 模擬周一的數(shù)據(jù)變化

3. 周一增量備份

4. 模擬周二的數(shù)據(jù)變化

5. 周二的增量備份

6. 模擬周三的數(shù)據(jù)變化

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理、合并備份

9. 恢復(fù)數(shù)據(jù)

10.

擴展：

假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？

4. MySQL數(shù)據(jù)遷移

4.0 遷移前要考慮的問題

4.1 換主機

4.1.1 數(shù)據(jù)量小

4.1.2 數(shù)據(jù)量大

4.2 換版本升級

4.3 異構(gòu)平臺——系統(tǒng)不一樣

4.4 異構(gòu)平臺——數(shù)據(jù)庫產(chǎn)品不同

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

2、XBK的應(yīng)用

3、企業(yè)備份恢復(fù)案例（ XBK full + inc + binlog ）

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理、合并備份

假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？