0.企業(yè)高可用性標準 ***

0.1 全年無故障率(非計劃內(nèi)故障停機)

99.9%                 ----> 0.001*365*24*60=525.6  min
99.99%                ----> 0.0001*365*24*60=52.56 min
99.999%               ----> 0.0001*365*24*60=5.256 min

0.2 高可用架構(gòu)方案

負載均衡:有一定的高可用性 
LVS  Nginx
主備系統(tǒng):有高可用性,但是需要切換,是單活的架構(gòu)
KA ,   MHA, MMM
真正高可用(多活系統(tǒng)): 
NDB Cluster  Oracle RAC  Sysbase cluster   , InnoDB Cluster（MGR）,PXC , MGC

1. 主從復(fù)制簡介 **

1.1\. 基于二進制日志復(fù)制的
1.2\. 主庫的修改操作會記錄二進制日志
1.3\. 從庫會請求新的二進制日志并回放,最終達到主從數(shù)據(jù)同步
1.4\. 主從復(fù)制是異步的
1.4\. 主從復(fù)制核心功能:
輔助備份,處理物理損壞                   
擴展新型的架構(gòu):高可用,高性能,分布式架構(gòu)等

2. 主從復(fù)制前提(搭建主從的過程) ***

## 2.1 兩臺或兩臺以上mysql實例 ,server_id,server_uuid不同
## 2.2 主庫需要開啟二進制日志
## 2.3 主庫需要建立專用的復(fù)制用戶(replication slave)
## 2.4 保證主從開啟之前的某個時間點,從庫數(shù)據(jù)是和主庫一致(補課),從庫通過備份主庫，恢復(fù)的方式進行“補課”
## 2.5 人為告知從庫,復(fù)制user,passwd,IP port,以及復(fù)制起點(change master to)
## 2.6 從庫應(yīng)該開啟專門的復(fù)制線程                    線程(三個):Dump thread  IO thread  SQL thread 開啟(start slave)

3. 主從復(fù)制搭建(Classic replication) ***

3.1 啟動主庫

[root@db01 3307]# pkill mysqld
[root@db01 3307]# systemctl start mysqld3307

3.2 準備從庫

[root@db01 3308]# rm -rf /data/3308/data/*
[root@db01 3308]# rm -rf /data/3308/mysql-bin*

[root@db01 3308]# mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3308/data
[root@db01 3308]# systemctl start mysqld3308

3.3 檢查配置文件

1.二進制日志是否開啟
2.兩個節(jié)點的server_id不同

[root@db01 3307]# vim /data/3307/my.cnf 
log_bin=/data/3307/data/mysql-bin
server-id=7

[root@db01 3308]# vim /data/3308/my.cnf 
log_bin=/data/3308/data/mysql-bin
server-id=8

3.4 主庫中創(chuàng)建復(fù)制用戶

[root@db01 3307]# mysql -S /data/3307/mysql.sock 
db01 [(none)]>grant replication slave on *.* to repl@'10.0.0.%' identified by '123';
db01 [(none)]>select user,host from mysql.user;

3.6 備份主庫并恢復(fù)到從庫

[root@db01 3307]# mysqldump -S /data/3307/mysql.sock -A --master-data=2 --single-transaction  -R --triggers >/backup/full.sql
vim /backup/full.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=653;
[root@db01 3307]# mysql -S /data/3308/mysql.sock
db01 [(none)]>source /backup/full.sql

3.7 告知從庫關(guān)鍵復(fù)制信息

ip port user  password  binlog position 
[root@db01 3307]# mysql -S /data/3308/mysql.sock
db01 [mysql]>help change master to

CHANGE MASTER TO
  MASTER_HOST='10.0.0.51',
  MASTER_USER='repl',
  MASTER_PASSWORD='123',
  MASTER_PORT=3307,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154,
  MASTER_CONNECT_RETRY=10;

3.8 開啟主從專用線程（IO、SQL線程）

從庫：
start slave ;

3.9 檢查復(fù)制狀態(tài)

db01 [mysql]>show slave  status \G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

4. 主從復(fù)制的原理 (Classic Replication)*****

4.1 主從中設(shè)置到的文件和線程

4.1.1 線程

主庫:
BINLOG_DUMP THREAD : DUMP_T
從庫:
SLAVE_IO_THREAD: IO_T
SLAVE_SQL_THREAD : SQL_T

4.1.2 文件

主:
binlog (mysql-bin.000001)
從: 
relaylog (db01-relay.000001)  ===>中繼日志
master.info                 ===》主庫信息記錄日志
relay-log.info              ===> 記錄中繼應(yīng)用情況信息

4.2 主從復(fù)制原理

image

主從復(fù)制原理描述：

1.從庫執(zhí)行change master to 時，會將主庫信息(ip pot user password binlog position)寫入到master.info進行記錄
2.從庫start slave 時，從庫會啟動IO線程和SQL線程
3.IO_T，讀取master.info信息，獲取主庫信息連接主庫
4\. 從庫IO_T請求連接主庫，主庫會專門提供一個DUMP_T線程，負責和IO_T交互
5\. IO_T根據(jù)master.info記錄的binlog文件名和position號，請求主庫DUMP最新日志
6\. 主庫通過DUMP_T線程將最新的binlog日志，通過網(wǎng)絡(luò)TP(傳送)給從庫的IO_T
7\. IO_T將收到的日志存儲到了TCP/IP 緩存，立即返回ACK給主庫 ，主庫工作完成
8.IO_T將緩存中的數(shù)據(jù)，存儲到relay-log日志文件,更新master.info文件binlog 文件名和postion，IO_T工作完成
9.SQL_T讀取relay-log.info文件，獲取到上次執(zhí)行到的relay-log的位置
10.SQL_T會按照上次的位置點回放最新的relaylog，會再次更新relay-log.info文件。
11. 從庫會自動purge應(yīng)用過的relay-log會進行定期的清理。
細節(jié)：
1.主庫一旦有新的日志生成，都會通過dump_T發(fā)送'信號' 給IO_T,增強了主從復(fù)制的實時性。

5. 主從故障監(jiān)控\分析\處理 *****

5.1 線程相關(guān)監(jiān)控

主庫:

show full processlist;
每個從庫都會有一行dump相關(guān)的信息
HOSTS: 
db01:47176
State:
Master has sent all binlog to slave; waiting for more updates
如果現(xiàn)實非以上信息,說明主從之間的關(guān)系出現(xiàn)了問題

從庫:

db01 [(none)]>show slave status \G
*************************** 1\. row ***************************

主庫相關(guān)信息（master.info）

主庫地址
Master_Host: 10.0.0.51
復(fù)制用戶
Master_User: repl
主庫端口
Master_Port: 3307
嘗試連接次數(shù)
Connect_Retry: 10
主庫的binlog最新信息
Master_Log_File: mysql-bin.000006
Read_Master_Log_Pos: 234

從庫relay應(yīng)用信息有關(guān)的（relay-log.info）

從庫已經(jīng)執(zhí)行過的relay_log的信息
Relay_Log_File: db01-relay-bin.000008
Relay_Log_Pos: 407
從庫的relaylog對應(yīng)的是主庫的binlog
Relay_Master_Log_File: mysql-bin.000006

從庫復(fù)制線程有關(guān)的狀態(tài)

Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Last_IO_Errno: 0
Last_IO_Error: 
Last_SQL_Errno: 0
Last_SQL_Error:

過濾復(fù)制有關(guān)的狀態(tài)

Replicate_Do_DB: 
Replicate_Ignore_DB: 
Replicate_Do_Table: 
Replicate_Ignore_Table: 
Replicate_Wild_Do_Table: 
Replicate_Wild_Ignore_Table:

從庫延時主庫的時間（秒）

Seconds_Behind_Master: 0

延時從庫有關(guān)的狀態(tài)(人為)

SQL_Delay: 0
SQL_Remaining_Delay: NULL

GTID 復(fù)制有關(guān)的狀態(tài)

Retrieved_Gtid_Set: 
Executed_Gtid_Set: 
Auto_Position: 0

5.2 主從復(fù)制故障分析

5.2.1 IO

5.2.1.1 連接主庫錯誤(Connecting)

Last_IO_Error: error reconnecting to master 'repl@10.0.0.51:3307' - retry-time: 10  retries: 7
[root@db01 ~]# mysql -urepl  -p123333  -h 10.0.0.51 -P 3307
ERROR 1045 (28000): Access denied for user 'repl'@'db01' (using password: YES)

原因:
密碼錯誤 
用戶錯誤 
地址錯誤
端口
防火墻
連接數(shù)上限

1）用戶相關(guān)信息錯誤連接報錯

image

用戶相關(guān)信息錯誤解決方法

stop  slave  
reset slave all 
change master to 
start slave

2）主庫連接數(shù)上線,或者是主庫太繁忙

show slave  staus \G 
Last_IO_Errno: 1040
Last_IO_Error: error reconnecting to master 'repl@10.0.0.51:3307' - retry-time: 10  retries: 7
處理思路:
拿復(fù)制用戶,手工連接一下

[root@db01 ~]# mysql -urepl -p123 -h 10.0.0.51 -P 3307 
mysql: [Warning] Using a password on the command line interface can be insecure.
ERROR 1040 (HY000): Too many connections
處理方法:
db01 [(none)]>set global max_connections=300;

(3) 防火墻,網(wǎng)絡(luò)不通

5.2.1.2 請求二進制日志

情況

binlog 沒開
binlog 損壞，不存在
從庫方面,二進制日志位置點不對

解決方法

注意: 在主從復(fù)制環(huán)境中,嚴令禁止主庫中reset master; 可以選擇expire 進行定期清理主庫二進制日志
解決方案:
重新構(gòu)建主從
stop  slave  
reset slave all 
change master to 
start slave

5.2.1.3 存儲binlog到relaylog

了解

relaylog文件的權(quán)限發(fā)生改變，導(dǎo)致無法寫入。
IO線程也會有報錯，但發(fā)生情況很少

5.2.2 SQL 線程故障

SQL線程功能：

(1)讀寫relay-log.info 
(2)relay-log損壞,斷節(jié),找不到
(3)接收到的SQL無法執(zhí)行

導(dǎo)致SQL線程故障原因分析：

1\. 版本差異，參數(shù)設(shè)定不同，比如：數(shù)據(jù)類型的差異，SQL_MODE影響
2.要創(chuàng)建的數(shù)據(jù)庫對象,已經(jīng)存在
3.要刪除或修改的對象不存在  
4.DML語句不符合表定義及約束時.  
歸根揭底的原因都是由于從庫發(fā)生了寫入操作.
Last_SQL_Error: Error 'Can't create database 'db'; database exists' on query. Default database: 'db'. Query: 'create database db'

SQL線程問題（例）

image.png

處理方法(以主庫為核心的處理方案)：

stop slave;
drop database db;
start slave;
將從庫跟主庫發(fā)生沖突的庫或者表刪除，再重新啟動從庫。

處理方法(以從庫為核心的處理方案)：

（比較暴力）

方法一：
stop slave; 
set global sql_slave_skip_counter = 1;
#將同步指針向下移動一個，如果多次不同步，可以重復(fù)操作。
start slave;

方法二：
/etc/my.cnf
slave-skip-errors = 1032,1062,1007
常見錯誤代碼:
1007:對象已存在
1032:無法執(zhí)行DML
1062:主鍵沖突,或約束沖突

但是，以上操作有時是有風險的，最安全的做法就是重新構(gòu)建主從。把握一個原則,一切以主庫為主.

主鍵沖突

image.png

解決方法：

重新構(gòu)建主從代價太大
將從庫跟主庫沖突的行的內(nèi)容update改為跟主庫一樣，然后再跳過此次錯誤

一勞永逸的方法:

(1) 可以設(shè)置從庫只讀.
db01 [(none)]>show variables like '%read_only%';
read_only            普通用戶
super_read_only      管理員用戶
(2)加中間件
讀寫分離。

6. 主從延時監(jiān)控及原因 *****

主庫做了修改操作,從庫比較長時間才能追上.

6.1 外在因素

網(wǎng)絡(luò) 
主從硬件差異較大
版本差異
參數(shù)因素

6.2 主庫

(1) 二進制日志寫入不及時
[rep]>select @@sync_binlog;
(2) CR(傳統(tǒng))的主從復(fù)制中,binlog_dump線程,事件為單元,串行傳送二進制日志(5.6 5.5)
(3) 主庫本身極其繁忙
慢語句
鎖等待
從庫個數(shù)
網(wǎng)絡(luò)延時

1\. 主庫并發(fā)事務(wù)量大,傳送時是串行
2\. 主庫發(fā)生了大事務(wù),由于是串行傳送,會產(chǎn)生阻塞后續(xù)的事務(wù).

解決方案:
1\. 5.6 開始,開啟GTID,實現(xiàn)了GC(group commit)機制,可以并行傳輸日志給從庫IO
2\. 5.7 開始,不開啟GTID,會自動維護匿名的GTID,也能實現(xiàn)GC,我們建議還是認為開啟GTID
3\. 大事務(wù)拆成多個小事務(wù),可以有效的減少主從延時.

6.3 從庫

SQL線程導(dǎo)致的主從延時
在CR復(fù)制情況下: 從庫默認情況下只有一個SQL,只能串行回放事務(wù)SQL,不管傳的日志有多少，只能一次執(zhí)行一個。
1\. 主庫如果并發(fā)事務(wù)量較大,從庫只能串行回放
2\. 主庫發(fā)生了大事務(wù),會阻塞后續(xù)的所有的事務(wù)的運行


解決方案:
1\. 5.6 版本開啟GTID之后,加入了SQL多線程的特性,但是只能針對不同庫(database)下的事務(wù)進行并發(fā)回放.
db01 [(none)]>show variables like '%workers%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| slave_parallel_workers | 0     |
+------------------------+-------+

2\. 5.7 版本開始GTID之后,在SQL方面,提供了基于邏輯時鐘(logical_clock),binlog加入了seq_no機制,
真正實現(xiàn)了基于事務(wù)級別的并發(fā)回放,這種技術(shù)我們把它稱之為MTS(enhanced multi-threaded slave).
3\. 大事務(wù)拆成多個小事務(wù),可以有效的減少主從延時.
[https://dev.mysql.com/worklog/task/?id=6314]

6.4 主從故障監(jiān)控

(1) 有沒有的問題?
Seconds_Behind_Master: 0

(2) 有沒有主庫原因?

Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 154

| mysql-bin.000003 | 154

(3) 有沒有及時回放

Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 154

[root@db01 data]# cat relay-log.info
./db01-relay-bin.000009
367
mysql-bin.000003
154

7. 小結(jié)

1. 主從復(fù)制原理
2. 主從復(fù)制故障
3. 主從延時：group commit    MTS

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

MySQL-主從復(fù)制基礎(chǔ)

0.企業(yè)高可用性標準 ***

0.1 全年無故障率(非計劃內(nèi)故障停機)

0.2 高可用架構(gòu)方案

1. 主從復(fù)制簡介 **

2. 主從復(fù)制前提(搭建主從的過程) ***

3. 主從復(fù)制搭建(Classic replication) ***

3.1 啟動主庫

3.2 準備從庫

3.3 檢查配置文件

3.4 主庫中創(chuàng)建復(fù)制用戶

3.6 備份主庫并恢復(fù)到從庫

3.7 告知從庫關(guān)鍵復(fù)制信息

3.8 開啟主從專用線程（IO、SQL線程）

3.9 檢查復(fù)制狀態(tài)

4. 主從復(fù)制的原理 (Classic Replication)*****

4.1 主從中設(shè)置到的文件和線程

4.1.1 線程

4.1.2 文件

4.2 主從復(fù)制原理

5. 主從故障監(jiān)控\分析\處理 *****

5.1 線程相關(guān)監(jiān)控

主庫:

從庫:

主庫相關(guān)信息（master.info）

從庫relay應(yīng)用信息有關(guān)的（relay-log.info）

從庫復(fù)制線程有關(guān)的狀態(tài)

過濾復(fù)制有關(guān)的狀態(tài)

從庫延時主庫的時間（秒）

延時從庫有關(guān)的狀態(tài)(人為)

GTID 復(fù)制有關(guān)的狀態(tài)

5.2 主從復(fù)制故障分析

5.2.1 IO

5.2.1.1 連接主庫錯誤(Connecting)

1）用戶相關(guān)信息錯誤連接報錯

用戶相關(guān)信息錯誤解決方法

2）主庫連接數(shù)上線,或者是主庫太繁忙

5.2.1.2 請求二進制日志

情況

相關(guān)報錯

解決方法

5.2.1.3 存儲binlog到relaylog

5.2.2 SQL 線程故障

SQL線程功能：

導(dǎo)致SQL線程故障原因分析：

SQL線程問題（例）

處理方法(以主庫為核心的處理方案)：

處理方法(以從庫為核心的處理方案)：

主鍵沖突

一勞永逸的方法:

6. 主從延時監(jiān)控及原因 *****

6.1 外在因素

6.2 主庫

6.3 從庫

6.4 主從故障監(jiān)控

7. 小結(jié)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

3.8 開啟主從專用線程（IO、SQL線程）