1.企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

案例背景：
某中小型互聯(lián)網(wǎng)公司，mysql5.7.26,CentOS7.6,數(shù)據(jù)量80G，每日數(shù)據(jù)量5-8M
備份策略：每天mysqldump全備+binlog備份，每天23點(diǎn)進(jìn)行
故障描述：周三下午2點(diǎn)，數(shù)據(jù)損壞
處理思路：
    1.掛出維護(hù)頁
    2.評(píng)估一下數(shù)據(jù)損壞狀態(tài)
        2.1全部丟失----->推薦直接生產(chǎn)恢復(fù)
        2.2 部分丟失----->（1）從備份中導(dǎo)出單表數(shù)據(jù) （2測試庫進(jìn)行全備恢復(fù)）
     3.恢復(fù)全備，將數(shù)據(jù)追溯到周二晚上23點(diǎn)
     4.截取并恢復(fù)從備份時(shí)刻到下午兩點(diǎn)誤刪除之前的binlog
     5.校驗(yàn)數(shù)據(jù)一致性
     6.撤維護(hù)頁，恢復(fù)生產(chǎn)
處理結(jié)果：
    1.經(jīng)過30-40分鐘處理，業(yè)務(wù)恢復(fù)
    2.評(píng)估此次故障的處理的合理性和實(shí)用性

案例模擬

1.進(jìn)行全備
 mysqldump -uroot -p -A -R --triggers -E --master-data=2 --single-transaction -S /data/3307/mysql.sock >/data/backup/full.sql
參數(shù)解釋：
-R  備份時(shí)，同時(shí)備份存儲(chǔ)過程和函數(shù)，如果沒有則自動(dòng)忽略，沒有警告
-E  備份事件events，如果沒有則自動(dòng)忽略
--triggers 備份觸發(fā)器，如果沒有則自動(dòng)忽略
--master-data=2
記錄備份開始時(shí)，position號(hào)，可以作為將來日志截取的起點(diǎn)
功能： 1.記錄備份時(shí)的position
      2.自動(dòng)鎖表
      3.配合--single-transaction，減少鎖的（innodb引擎）
--single-transaction
功能：
對(duì)于InnoDB的表，實(shí)現(xiàn)快照備份，不需要鎖表

SET @@GLOBAL.GTID_PURGED='e0e94318-8de0-11e9-bbf7-000c29c19cf1:1-5';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000043', MASTER_LOG_POS=194;
2.模擬全備之后到下午兩點(diǎn)之前的業(yè)務(wù)操作
create database mdp charset utf8mb4;
 use mdp
create table t1(id int);
insert into t1 values(1),(2),(3);
 insert into t1 values(11),(12),(13);
commit;
insert into t1 values(15);
commit;
update t1 set id=20 where id>10;
select * from t1;
3.模擬損壞
\rm -rf /data/mysql/data
pkill mysqld
!rm
4. 初始化數(shù)據(jù)
[root@db01 /data/mysql/data]# mysqld --initialize-insecure --user=mysql  --basedir=/application/mysql --datadir=/data/mysql/data
systemctl start mysqld
5.進(jìn)行全備恢復(fù)
mysql -uroot -p
set sql_log_bin=0
source /data/backup/full.sql
flush privileges;
6、找日志起點(diǎn)和終點(diǎn)
vim /data/backup/full.sql

SET @@GLOBAL.GTID_PURGED='ac73f334-8d93-11e9-986d-000c2987e498:1-13';
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000022', MASTER_LOG_POS=194;

mysqlbinlog --skip-gtids --include-gtids='ac73f334-8d93-11e9-986d-000c2987e498:14-17' /data/binlog/mysql-bin.000022 >/data/backup/bin.sql

7、登錄數(shù)據(jù)庫恢復(fù)日志
set sql_log_bin=0;
source /data/backup/bin.sql;

拓展：從全備中導(dǎo)出單表進(jìn)行備份
1、獲得表結(jié)構(gòu)
 sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql

2、獲得INSERT INTO 語句，用于數(shù)據(jù)恢復(fù)
 grep -i 'INSERT INTO `city`'  full.sqll >data.sql 

3、獲取單庫的備份
 sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

image.png

2.XBK的應(yīng)用

2.1安裝

2.1.1安裝依賴包

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

下載工具
yum install percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
innobackupex  --version

備份
innobackupex  --user=root --password=oldboy123 /data/bak 
cd /data/bak/2019-06-26_12-14-07
備份完生成的目錄下主要文件：
cat xtrabackup_binlog_info  ------>包含二進(jìn)制日志   gtid   position

cat xtrabackup_checkpoints   ------->包含起始結(jié)束LSN號(hào)

cat xtrabackup_info  ----->包含總體信息

2.2備份命令介紹

xtrabackup
innobackupex******

2.3備份方式----物理備份

(1)對(duì)于非Innodb表（比如 myisam）是，鎖表cp數(shù)據(jù)文件，屬于一種溫備份。
(2)對(duì)于innodb的表（支持事務(wù)的），不鎖表，拷貝數(shù)據(jù)頁，最終以數(shù)據(jù)文件的方式保存下來，把一部分redo和undo一并備走。屬于熱備方式。

面試題

 xbk 在innodb表備份恢復(fù)的流程
  0、xbk備份執(zhí)行的瞬間,立即觸發(fā)ckpt,已提交的數(shù)據(jù)臟頁,從內(nèi)存刷寫到磁盤,并記錄此時(shí)的LSN號(hào)
  1、備份時(shí)，拷貝磁盤數(shù)據(jù)頁，并且記錄備份過程中產(chǎn)生的redo和undo一起拷貝走,也就是checkpoint LSN之后的日志
  2、在恢復(fù)之前，模擬Innodb“自動(dòng)故障恢復(fù)”的過程，將redo（前滾）與undo（回滾）進(jìn)行應(yīng)用
  3、恢復(fù)過程是cp 備份到原來數(shù)據(jù)目錄下
恢復(fù)：
     其實(shí)就是模擬了CSR過程
     對(duì)LAST LSN ,to LSN
     使用redo進(jìn)行前滾，對(duì)未提交的事務(wù)進(jìn)行回滾

自主定制備份路徑名

[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/bak/full_$(date +%F)
--apply-log將redo以提交的數(shù)據(jù)進(jìn)行刷寫，并將未提交的進(jìn)行一個(gè)回滾

2.4案例

2.4.1XBK全備

1.全備
注意：備份工具依賴于/etc/my.cnf
vim /etc/my.cnf
[client]
socket=/tmp/mysql.sock

innobackupex  --user=root --password=123 /data/bak 

2.模擬數(shù)據(jù)庫損壞情況
pkill mysqld
rm -rf /data/mysql/data/*

2.4.2XBK全備的恢復(fù)

將redo進(jìn)行重做，已提交的寫入數(shù)據(jù)文件
innobackupex --apply-log /data/bak/2019-06-26_12-26-38 
cp -a * /data/mysql/data/
chown -R mysql. /data/mysql/data/*
systemctl start mysqld

2.4.3XBK增量備份演示

備份方式：基于上次的備份的增量
增量備份不能單獨(dú)恢復(fù)，必須全部合并到全備中一起恢復(fù)

<1>. 全備
innobackupex --user=root --password=oldboy123 --no-timestamp /data/bak/full_$(date +%F)
<2>. 模擬周一數(shù)據(jù)變化 
mysql> create database xbk charset utf8mb4; 
mysql> use xbk
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
<3>.周一晚上增量備份
innobackupex --user=root --password=oldboy123 --no-timestamp --incremental --incremental_basedir=/data/bak/full_2019-06-26 /data/bak/inc_$(date +F%)
<4>.模擬周二白天的數(shù)據(jù)變化
use xbk
create table t2(id int);
insert into t2 values(1),(2),(3);
commit;
<5>周二晚上的增量備份
innobackupex --user=root --password=oldboy123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc_2019-06-26 /data/bak/inc2_$(date +%F)
<6>. 檢查備份沒有接上
cat full_2019-06-26/xtrabackup_checkpoints inc_2019-06-26/xtrabackup_checkpoints  inc2_2019-06-26/xtrabackup_checkpoin

image.png

2.4.5XBK增量恢復(fù)演示

思路：
合并所有增量到全備
每個(gè)XBK備份都需要恢復(fù)準(zhǔn)備（prepare）
--apply-log 備份
--redo-only 防止回滾
<1>整理全備
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/

<2>.整理并合并周一整理到全備
innobackupex --apply-log --redo-only --incremental-dir=/data/bak/inc_2019-06-26 /data/bak/full_2019-06-26/

<3>整理并合并周二的增量到全備
innobackupex --apply-log --incremental-dir=/data/bak/inc2_2019-06-26 /data/bak/full_2019-06-26/
注意：最后一個(gè)增量追加不加--redo-only參數(shù)

<4>再次整理全備
innobackupex --apply-log --redo-only /data/bak/full_2019-06-26/

<5>破壞并恢復(fù)
pkill mysqld
rm -rf /data/mysql/data/*

恢復(fù)
cd /data/mysql/data/
innobackupex --copy-back /data/bak/full_2019-06-26
chown -R mysql. /data/*
systemctl start mysqld

partition按月進(jìn)行分表

3. 企業(yè)備份恢復(fù)案例（XBK full+inc+binlog）

案例背景： 某中型互聯(lián)網(wǎng)公司。MySQL 5.7.26 ，Centos 7.6 ，數(shù)據(jù)量級(jí)600G，每日數(shù)據(jù)增量15-50M
備份策略： 周日XBK全備+周一到周六inc增量+binlog備份，每天23:00進(jìn)行。
故障描述： 周三下午2點(diǎn)，數(shù)據(jù)由于某原因數(shù)據(jù)損壞。
處理思路： 
         1. 掛出維護(hù)頁
         2. 評(píng)估一下數(shù)據(jù)損壞狀態(tài)
            2.1 全部丟失-->推薦直接生產(chǎn)恢復(fù)
            2.2 部分丟失
         3. 整理合并所有備份：full+inc1+inc2 
         4. 截取 周二晚上到周三下午午故障點(diǎn)的binlog日志
         5. 恢復(fù)全備，恢復(fù)binlog
         6. 檢查數(shù)據(jù)完整性
         7. 恢復(fù)業(yè)務(wù)
處理結(jié)果：
        1. 經(jīng)過70-80分鐘處理，業(yè)務(wù)恢復(fù)
        2. 評(píng)估此次故障的處理的合理性和實(shí)用性

案例模擬：

1. 模擬周日的全備
innobackupex --user=root --password=123 --no-timestamp /data/bak/full

2. 模擬周一的數(shù)據(jù)變化
create database hisoss charset utf8mb4;
 use hisoss
create table his_order(id int);
insert into his_order values(1),(2),(3);
commit；


3. 模擬周一的增量備份
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/bak/full /data/bak/inc1

4.模擬周二數(shù)據(jù)變化
 use hisoss
insert into his_order values(11),(12),(13);
commit；
5.模擬周二增量備份
innobackupex --user=root --password=oldboy123 --no-timestamp --incremental --incremental-basedir=/data/bak/inc1 /data/bak/inc2

6. 模擬周三數(shù)據(jù)變化
 use hisoss
insert into his_order values(111),(222),(333);
commit；

7.破壞數(shù)據(jù)庫
pkill mysqld
cd /data/mysql/data
rm -rf *

8.整理合并備份
<1>整理全備
innobackupex --apply-log --redo-log /data/bak/full
<2>inc1整理并合并
innobackupex --apply-log --redo-log --incremental --incremental-basedir=/data/bak/inc1 /data/bak/full
<3>inc2整理并合并
innobackupex  --apply-log --incremental --incremental-dir=/data/bak/inc2 /data/bak/full
<4>檢查
cd /data/bak
cat full/xtrabackup_checkpoints inc2/xtrabackup_checkpoints 
<5>整理全備
innobackupex  --apply-log /data/bak/full
9.恢復(fù)數(shù)據(jù)
cp -a /data/bak/full/* /data/mysql/data/
chown -R mysql. /data/*
systemctl start mysqld

10.截取周二晚上11點(diǎn)到下午2點(diǎn)的數(shù)據(jù)
cd /data/bak/inc2
cat xtrabackup_binlog_info 
mysql -uroot -p
show binlog events in 'mysql-bin.000030';
mysqlbinlog --skip-gtids --include-gtids='2f3b00d2-97ed-11e9-8dae-000c2987e498:5' /data/binlog/mysql-bin.000030 >/data/bak/bin.sql
恢復(fù) 
set sql_log_bin=0;
source  /data/bak/bin.sql;
use hisoss;
select * from his_order;

拓展

假如，只是少量數(shù)據(jù)被損壞，以上方法有哪些不妥？
alter table t1 diacard tablespace
alter table t1 import  tablespace

4.MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

技術(shù)方面

選擇什么工具、方法
MDP,XBK

非技術(shù)方面

停機(jī)時(shí)間
回退方案

4.1換主機(jī)

4.1.1數(shù)據(jù)量小

思路：
1.在線 MDP/XBK備份出來，scp到目標(biāo)機(jī)進(jìn)行恢復(fù)。
2.追加所有備份后的日志
3.申請停機(jī)5min時(shí)間
4.剩余部分的binlog繼續(xù)恢復(fù)（搭建主從的方式來替代）
5.檢驗(yàn)數(shù)據(jù)
6.進(jìn)行業(yè)務(wù)割接

4.1.1數(shù)據(jù)量大

XBK備份出來，SCP到目標(biāo)主機(jī)
搭建主從的方式
申請停機(jī)15min
檢驗(yàn)數(shù)據(jù)
進(jìn)行業(yè)務(wù)割接

4.2換版本升級(jí)

1.建議使用mysqldump邏輯備份方式，按業(yè)務(wù)庫進(jìn)行分別備份，排除掉 information_schema,performance_shema,sys
恢復(fù)完成后，升級(jí)數(shù)據(jù)字典

2.構(gòu)建主從
進(jìn)行過濾復(fù)制排除掉information_schema,performance_shema,sys。

4.3異構(gòu)遷移--系統(tǒng)不一樣

只能用邏輯備份（mysqldump），

4.4異構(gòu)遷移--數(shù)據(jù)庫產(chǎn)品不同

Oracle---OGG--->MYSQL
MYSQL----CSV--->MongoDB
MYSQL---JSON--->MongoDB

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

DBA之路 10_MySQL_備份恢復(fù)

DBA之路 10_MySQL_備份恢復(fù)

1.企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

案例模擬

2.XBK的應(yīng)用

2.1安裝

2.1.1安裝依賴包

2.2備份命令介紹

2.3備份方式----物理備份

面試題

2.4案例

2.4.1XBK全備

2.4.2XBK全備的恢復(fù)

2.4.3XBK增量備份演示

2.4.5XBK增量恢復(fù)演示

3. 企業(yè)備份恢復(fù)案例（XBK full+inc+binlog）

案例模擬：

拓展

4.MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

技術(shù)方面

非技術(shù)方面

4.1換主機(jī)

4.1.1數(shù)據(jù)量小

4.1.1數(shù)據(jù)量大

4.2換版本升級(jí)

4.3異構(gòu)遷移--系統(tǒng)不一樣

4.4異構(gòu)遷移--數(shù)據(jù)庫產(chǎn)品不同

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

DBA之路 10_MySQL_備份恢復(fù)

1.企業(yè)的備份恢復(fù)案例（mysqldump+binlog）

案例模擬

2.XBK的應(yīng)用

2.1安裝

2.1.1安裝依賴包

2.2備份命令介紹

2.3備份方式----物理備份

面試題

2.4案例

2.4.1XBK全備

2.4.2XBK全備的恢復(fù)

2.4.3XBK增量備份演示

2.4.5XBK增量恢復(fù)演示

3. 企業(yè)備份恢復(fù)案例（XBK full+inc+binlog）

案例模擬：

拓展

4.MySQL數(shù)據(jù)遷移

4.0遷移前要考慮的問題

技術(shù)方面

非技術(shù)方面

4.1換主機(jī)

4.1.1數(shù)據(jù)量小

4.1.1數(shù)據(jù)量大

4.2換版本升級(jí)

4.3異構(gòu)遷移--系統(tǒng)不一樣

4.4異構(gòu)遷移--數(shù)據(jù)庫產(chǎn)品不同

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av