今日預告：

1. 企業(yè)的備份恢復案例（mysqldump+binlog），年終故障恢復演練。

一、案例背景： 某中小型互聯(lián)網(wǎng)公司。MySQL 5.7.26 ，Centos 7.6 ，數(shù)據(jù)量級80G，每日數(shù)據(jù)增量5-6M
備份策略： 每天mysqldump全備+binlog備份，每天23:00進行。
故障描述： 周三下午2點，數(shù)據(jù)由于某原因數(shù)據(jù)損壞。
處理思路： 
         1. 掛出維護頁
         2. 評估一下數(shù)據(jù)損壞狀態(tài)
            2.1 全部丟失-->推薦直接生產(chǎn)恢復
            2.2 部分丟失
            (1) 從備份中導出單表數(shù)據(jù)  
            (2)測試庫進行全備恢復
         3. 恢復全備，將數(shù)據(jù)追溯到周二晚上23:00狀態(tài)
         4. 截取并恢復從備份時刻，到下午兩點誤刪除之前binlog。
         5. 校驗數(shù)據(jù)一致性
         6. 撤維護頁，恢復生產(chǎn)。
處理結(jié)果：
        1. 經(jīng)過30-40分鐘處理，業(yè)務恢復
        2. 評估此次故障的處理的合理性和實用性

案例模擬及恢復：
1. 進行周二全備
[root@db01 ~]# mysqldump -uroot -p123  -A -R --triggers -E --master-data=2 --single-transaction >/data/backup/full.sql

[root@db01 ~]# vim /data/backup/full.sql
SET @@GLOBAL.GTID_PURGED='ee956c61-9653-11e9-8518-000c29099eb6:1-2';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000045', MASTER_LOG_POS=350;

2. 模擬全備之后到下午兩點前的業(yè)務操作
mysql> create database mdp charset utf8mb4;
mysql> use mdp
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
mysql> insert into t1 values(11),(12),(13);
mysql> commit;
mysql> update t1 set id=20 where id>10;
mysql> commit;

3. 模擬損壞
\rm -rf /data/mysql/data/* 
pkill mysqld 
\rm -rf /data/mysql/data/* 

4. 初始化數(shù)據(jù)
[root@db01 /data/mysql/data]# mysqld --initialize-insecure --user=mysql  --basedir=/application/mysql --datadir=/data/mysql/data 
[root@db01 /data/mysql/data]# /etc/init.d/mysqld start

5. 進行全備恢復 
mysql> set sql_log_bin=0;
mysql> source /data/backup/full.sql 
mysql> flush privileges;

6.  找日志起點和終點
[root@db01 ~]# vim /data/backup/full.sql
SET @@GLOBAL.GTID_PURGED='ee956c61-9653-11e9-8518-000c29099eb6:1-2';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000045', MASTER_LOG_POS=350;

[root@db01 ~]# mysqlbinlog --skip-gtids --include-gtids='ee956c61-9653-11e9-8518-000c29099eb6:3-7' /data/binlog/mysql-bin.000045 >/data/backup/bin.sql
或者：
[root@db01 ~]# mysqlbinlog --skip-gtids --start-position=350 /data/binlog/mysql-bin.000045 >/tmp/aa.sql

7. 恢復日志
mysql> set sql_log_bin=0;
mysql> source /data/backup/bin.sql

擴展：從全備中導出單表備份
1、獲得表結(jié)構(gòu)
# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql
2、獲得INSERT INTO 語句，用于數(shù)據(jù)的恢復
# grep -i 'INSERT INTO `city`'  full.sqll >data.sql 
3.獲取單庫的備份
# sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

### 一條真實企業(yè)數(shù)據(jù)庫備份語句
mysqldump -uroot -p123 -A  -R  --triggers --master-data=2 max_allowed_packet=128M  --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

作業(yè)：模仿以上備份命令，書寫備份腳本

==================================

2. XBK的應用

2.1安裝
2.1.1 安裝依賴包：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

2.1.2 下載軟件并安裝
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

2.2、備份命令介紹:
xtrabackup
innobackupex    ******

2.3 備份方式——物理備份
（1）對于非Innodb表（比如 myisam）是，鎖表cp數(shù)據(jù)文件，屬于一種溫備份。
（2）對于Innodb的表（支持事務的），不鎖表，拷貝數(shù)據(jù)頁，最終以數(shù)據(jù)文件的方式保存下來，
     把一部分redo和undo一并備走，屬于熱備方式。

面試題： xbk 在innodb表備份恢復的流程

0、xbk備份執(zhí)行的瞬間,立即觸發(fā)ckpt,已提交的數(shù)據(jù)臟頁,從內(nèi)存刷寫到磁盤,并記錄此時的LSN號
1、備份時，拷貝磁盤數(shù)據(jù)頁，并且記錄備份過程中產(chǎn)生的redo和undo一起拷貝走,也就是checkpoint LSN之后的日志
2、在恢復之前，模擬Innodb“自動故障恢復”的過程，將redo（前滾）與undo（回滾）進行應用
3、恢復過程是cp 備份到原來數(shù)據(jù)目錄下
   
   備份過程：
   1. ckpt ，記錄ckpt后LSN ,to  lsn
   2. 拷貝數(shù)據(jù)頁 ，保存為數(shù)據(jù)文件
   3. 自動將備份過程redo，會一并備份走，提取最后的last LSN
   
   恢復： 
   其實就是模擬了CSR過程
   對比LAST LSN ,to lsn
   使用redo進行前滾，對未提交的事務進行回滾
   最后得到一個一致性備份
          
2.4、innobackupex使用
2.4.1 全備
[root@db01 backup]# innobackupex --user=root --password=123  /data/bak
注意：
備份工具是依賴于/etc/my.cnf   
[mysqld] 
[client]
[innobackupex]
如果說配置文件沒有在/etc  ，可以如下操作
[root@db01 backup]# innobackupex --defaults-file=xxxxx --user=root --password=123  /data/bak

自主定制備份路徑名
[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)

備份集中多出來的文件：
-rw-r----- 1 root root       24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root      119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root      489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root     2560 Jun 29 09:59 xtrabackup_logfile

xtrabackup_binlog_info ：（備份時刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info 
mysql-bin.000003    536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時刻，binlog的文件名字和當時的結(jié)束的position，可以用來作為截取binlog時的起點。

xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0            上次所到達的LSN號(對于全備就是從0開始,對于增量有別的顯示方法)
to_lsn = 160683027      備份開始時間(ckpt)點數(shù)據(jù)頁的LSN    
last_lsn = 160683036    備份結(jié)束后，redo日志最終的LSN
compact = 0
recover_binlog_info = 0

（1）備份時刻，立即將已經(jīng)commit過的，內(nèi)存中的數(shù)據(jù)頁刷新到磁盤(CKPT).開始備份數(shù)據(jù)，數(shù)據(jù)文件的LSN會停留在to_lsn位置。
（2）備份時刻有可能會有其他的數(shù)據(jù)寫入，已備走的數(shù)據(jù)文件就不會再發(fā)生變化了。
（3）在備份過程中，備份軟件會一直監(jiān)控著redo的undo，如果一旦有變化會將日志也一并備走，并記錄LSN到last_lsn。
從to_lsn  ----》last_lsn 就是，備份過程中產(chǎn)生的數(shù)據(jù)變化.

2.4.2 全備的恢復
準備備份（Prepared）
將redo進行重做，已提交的寫到數(shù)據(jù)文件，未提交的使用undo回滾掉。模擬了CSR的過程
[root@db01 ~]# innobackupex --apply-log  /backup/full/
恢復備份
前提：
1、被恢復的目錄是空
2、被恢復的數(shù)據(jù)庫的實例是關(guān)閉
systemctl stop mysqld
創(chuàng)建新目錄

[root@db01 backup]# mkdir /data/mysql1
數(shù)據(jù)授權(quán)
chown -R mysql.mysql /data/mysql1
恢復備份
[root@db01 full]# cp -a /backup/full/* /data/mysql1/
啟動數(shù)據(jù)庫
vim /etc/my.cnf
datadir=/data/mysql1
[root@db01 mysql1]# chown -R mysql.mysql /data/mysql1
systemctl start mysqld

2.4.3  XBK增量備份
備份方式：基于上次的備份的增量
增量備份不能單獨恢復，必須合并到全備中，一起恢復

1. 周日全備

innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)

2. 模擬周一數(shù)據(jù)變化

create database xbk charset utf8mb4;    
use xbk
create table t1(id int);
insert into t1 values(1),(2),(3);
commit;

3. 周一晚上增量備份

innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +%F)

4. 模擬周二白天的數(shù)據(jù)變化

use xbk
create table t2(id int);
insert into t2 values(1),(2),(3);
commit;

5. 周二晚上的增量備份

innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)

2.4.5 XBK增量恢復演示
思路：
合并所有增量到全備
每個XBK備份都需要恢復準備(prepare)
--apply-log   --redo-only

1. 整理全備

innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/

2. 整理并合并周一增量到全備

innobackupex --apply-log  --redo-only --incremental-dir=/data/bak/inc_2019-06-26                       /data/bak/full_2019-06-26/

3. 整理并合并周二的增量到全備

[root@db01 /data/bak]# innobackupex --apply-log  --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26/

4. 再次整理全備

innobackupex --apply-log  /data/bak/full_2019-06-26

5. 破壞數(shù)據(jù)庫，恢復數(shù)據(jù)

[root@db01 /data/bak]# pkill mysqld
[root@db01 /data/bak]# \rm -rf /data/mysql/data/*
[root@db01 /data/bak]# innobackupex --copy-back /data/bak/full_2019-06-26

[root@db01 /data/mysql/data]# chown -R mysql.mysql /data/*
[root@db01 /data/mysql/data]# /etc/init.d/mysqld start

3. 企業(yè)備份恢復案例（XBK full+inc+binlog）

案例背景： 某中型互聯(lián)網(wǎng)公司。MySQL 5.7.26 ，Centos 7.6 ，數(shù)據(jù)量級600G，每日數(shù)據(jù)增量15-50M
備份策略： 周日XBK全備+周一到周六inc增量+binlog備份，每天23:00進行。
故障描述： 周三下午2點，數(shù)據(jù)由于某原因數(shù)據(jù)損壞。
處理思路： 
         1. 掛出維護頁
         2. 評估一下數(shù)據(jù)損壞狀態(tài)
            2.1 全部丟失-->推薦直接生產(chǎn)恢復
            2.2 部分丟失
         3. 整理合并所有備份：full+inc1+inc2 
         4. 截取 周二晚上到周三下午午故障點的binlog日志
         5. 恢復全備，恢復binlog
         6. 檢查數(shù)據(jù)完整性
         7. 恢復業(yè)務
處理結(jié)果：
        1. 經(jīng)過70-80分鐘處理，業(yè)務恢復
        2. 評估此次故障的處理的合理性和實用性

案例模擬：

1. 模擬周日的全備

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /data/bak/full

2. 模擬周一的數(shù)據(jù)變化

mysql> create database hisoss charset utf8mb4;
mysql> use hisoss;
mysql> create table his_order(id int);
mysql> insert into his_order values(1),(2),(3);
mysql> commit;

3. 模擬周一的增量備份

[root@db01 /data/bak]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1

4. 模擬周二的數(shù)據(jù)變化

use hisoss;
insert into his_order values(11),(22),(33);
commit;

5. 模擬周二的增量備份

innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2

6. 模擬周三的數(shù)據(jù)變化

use hisoss;
insert into his_order values(111),(222),(333);
commit;

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

pkill mysqld 
 \rm -rf /data/mysql/data/*

8. 整理合并備份

（1） 整理全備 
 [root@db01 ~]# innobackupex --apply-log --redo-only /data/bak/full
（2） inc1 合并并整理到full中
[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc1 /data/bak/full 
（3） inc2 合并并整理到full中
[root@db01 ~]# innobackupex --apply-log --incremental-dir=/data/bak/inc2 /data/bak/full 
（4） 整體的整理
innobackupex --apply-log  /data/bak/full

9. 恢復備份數(shù)據(jù)

cp -a /data/bak/full/* /data/mysql/data/
[root@db01 /data/bak]# chown -R mysql.mysql /data

10. 截取二進制日志并恢復

mysqlbinlog --skip-gtids --include-gtids='180629c3-97ed-11e9-aeaa-000c29099eb6:5' /data/binlog/mysql-bin.000050 >/data/bak/bin.sql

恢復：
mysql> set sql_log_bin=0;
mysql> source /data/bak/bin.sql


擴展： 
假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥的地方？
alter table t1  discard tablespace
alter table t1  import  tablespace

innobackupex --user=root --password=123 --defaults-file=/etc/my.cnf --no-timestamp --stream=tar --use-memory=256M  --parallel=8 /data/mysql_backup | gzip | ssh root@10.0.0.52 " cat - > /data/mysql_backup.tgz"

 --stream=tar 
 --use-memory=256M  
 --parallel=8

4. MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

## 1.技術(shù)方面
選擇什么工具，MDP XBK 
## 2.非技術(shù)
停機時間
回退方案

4.1 換主機

4.1.1 數(shù)據(jù)量小

思路：
1. 在線 MDP，XBK備份出來，scp到目標主機
2. 追加所有備份后的日志
3. 申請停機5分鐘
4. 剩余部分的binlog繼續(xù)恢復（搭建主從的方式來替代）
5. 校驗數(shù)據(jù)
6. 進行業(yè)務割接

4.1.1 數(shù)據(jù)量大

XBK備份出來，scp到目標主機
搭建主從的方式
申請停機15分鐘
校驗數(shù)據(jù)
進行業(yè)務割接

4.2 換版本升級

例如：
5.6  -》 5.7 
（1）方法一：
建議使用 mysqldump邏輯備份方式，按業(yè)務庫進行分別備份，排除掉 information_schema,performance_schema,sys
恢復完成后，升級數(shù)據(jù)字典
（2）方法二：
進行過濾復制，排除掉 information_schema,performance_schema,sys

4.3 異構(gòu)遷移-系統(tǒng)不一樣

只能用邏輯備份

4.4 異構(gòu)遷移-數(shù)據(jù)庫產(chǎn)品不同

Oracle --OGG------> MYSQL
MySQL ---CSV--> MongoDB
MySQL ---JSON--> MongoDB

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

DBA課程-day10-備份恢復遷移-2

DBA課程-day10-備份恢復遷移-2

1. 企業(yè)的備份恢復案例（mysqldump+binlog），年終故障恢復演練。

2. XBK的應用

1. 周日全備

2. 模擬周一數(shù)據(jù)變化

3. 周一晚上增量備份

4. 模擬周二白天的數(shù)據(jù)變化

5. 周二晚上的增量備份

1. 整理全備

2. 整理并合并周一增量到全備

3. 整理并合并周二的增量到全備

4. 再次整理全備

5. 破壞數(shù)據(jù)庫，恢復數(shù)據(jù)

3. 企業(yè)備份恢復案例（XBK full+inc+binlog）

1. 模擬周日的全備

2. 模擬周一的數(shù)據(jù)變化

3. 模擬周一的增量備份

4. 模擬周二的數(shù)據(jù)變化

5. 模擬周二的增量備份

6. 模擬周三的數(shù)據(jù)變化

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理合并備份

9. 恢復備份數(shù)據(jù)

10. 截取二進制日志并恢復

4. MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

4.1 換主機

4.1.1 數(shù)據(jù)量小

4.1.1 數(shù)據(jù)量大

4.2 換版本升級

4.3 異構(gòu)遷移-系統(tǒng)不一樣

4.4 異構(gòu)遷移-數(shù)據(jù)庫產(chǎn)品不同

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

DBA課程-day10-備份恢復遷移-2

1. 企業(yè)的備份恢復案例（mysqldump+binlog），年終故障恢復演練。

2. XBK的應用

1. 周日全備

2. 模擬周一數(shù)據(jù)變化

3. 周一晚上增量備份

4. 模擬周二白天的數(shù)據(jù)變化

5. 周二晚上的增量備份

1. 整理全備

2. 整理并合并周一增量到全備

3. 整理并合并周二的增量到全備

4. 再次整理全備

5. 破壞數(shù)據(jù)庫，恢復數(shù)據(jù)

3. 企業(yè)備份恢復案例（XBK full+inc+binlog）

1. 模擬周日的全備

2. 模擬周一的數(shù)據(jù)變化

3. 模擬周一的增量備份

4. 模擬周二的數(shù)據(jù)變化

5. 模擬周二的增量備份

6. 模擬周三的數(shù)據(jù)變化

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理 合并備份

9. 恢復備份數(shù)據(jù)

10. 截取二進制日志并恢復

4. MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

4.1 換主機

4.1.1 數(shù)據(jù)量小

4.1.1 數(shù)據(jù)量大

4.2 換版本升級

4.3 異構(gòu)遷移-系統(tǒng)不一樣

4.4 異構(gòu)遷移-數(shù)據(jù)庫產(chǎn)品不同

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

1. 企業(yè)的備份恢復案例（mysqldump+binlog），年終故障恢復演練。

5. 破壞數(shù)據(jù)庫，恢復數(shù)據(jù)

7. 有一個傻子，把數(shù)據(jù)庫data目錄給rm掉了

8. 整理合并備份