今天練習(xí)了下mysql的主從復(fù)制功能，根據(jù)網(wǎng)絡(luò)上的一些文章整理修改
環(huán)境
操作系統(tǒng) ubuntu18.04
mysql版本 5.7.23
主節(jié)點(diǎn) 192.168.10.11
從節(jié)點(diǎn) 192.168.10.13
MySQL主從復(fù)制官方文檔：https://dev.mysql.com/doc/refman/5.7/en/replication.html
MySQL主從復(fù)制的方式 1、傳統(tǒng)方法基于從主機(jī)的二進(jìn)制日志復(fù)制事件;2、基于全局事務(wù)標(biāo)識(shí)符（GTID）的較新方法
基于日志（binlog）的復(fù)制
MySQL主從復(fù)制（也稱(chēng)A/B復(fù)制）的原理
(1) Master將數(shù)據(jù)改變記錄到二進(jìn)制日志(binary log)中，也就是配置文件log-bin指定的文件，這些記錄叫做二進(jìn)制日志事件(binary log events)；
(2) Slave通過(guò)I/O線(xiàn)程讀取Master中的binary log events并寫(xiě)入到它的中繼日志(relay log)；
(3) Slave重做中繼日志中的事件，把中繼日志中的事件信息一條一條的在本地執(zhí)行一次，完成數(shù)據(jù)在本地的存儲(chǔ)，從而實(shí)現(xiàn)將改變反映到它自己的數(shù)據(jù)(數(shù)據(jù)重放)。
主從配置需要注意的點(diǎn)
(1)主從服務(wù)器操作系統(tǒng)版本和位數(shù)一致；
(2) Master和Slave數(shù)據(jù)庫(kù)的版本要一致；
(3) Master和Slave數(shù)據(jù)庫(kù)中的數(shù)據(jù)要一致；
(4) Master開(kāi)啟二進(jìn)制日志，Master和Slave的server_id在局域網(wǎng)內(nèi)必須唯一；
Master服務(wù)器配置
1、修改Master的配置文件（homestead）
vi /etc/mysql/mysql.conf.d/mysql.cnf
2、增加配置項(xiàng)
##### 設(shè)置server_id，一般設(shè)置為IP
server_id=11
##### 復(fù)制過(guò)濾：需要備份的數(shù)據(jù)庫(kù)，輸出binlog
binlog-do-db=homestead
##### 復(fù)制過(guò)濾：不需要備份的數(shù)據(jù)庫(kù)，不輸出（mysql庫(kù)一般不同步）
binlog-ignore-db=mysql
##### 開(kāi)啟二進(jìn)制日志功能，可以隨便取，最好有含義
log-bin=/var/log/mysql/mysql-bin.log
##### 為每個(gè)session 分配的內(nèi)存，在事務(wù)過(guò)程中用來(lái)存儲(chǔ)二進(jìn)制日志的緩存
binlog_cache_size=1M
##### 主從復(fù)制的格式（mixed,statement,row，默認(rèn)格式是statement）
binlog_format=mixed
##### 二進(jìn)制日志自動(dòng)刪除/過(guò)期的天數(shù)。默認(rèn)值為0，表示不自動(dòng)刪除。
expire_logs_days=7
##### 跳過(guò)主從復(fù)制中遇到的所有錯(cuò)誤或指定類(lèi)型的錯(cuò)誤，避免slave端復(fù)制中斷。
##### 如：1062錯(cuò)誤是指一些主鍵重復(fù)，1032錯(cuò)誤是因?yàn)橹鲝臄?shù)據(jù)庫(kù)數(shù)據(jù)不一致
slave_skip_errors=1062
##### 如果需要同步函數(shù)或者存儲(chǔ)過(guò)程
log_bin_trust_function_creators=true
3、重啟數(shù)據(jù)庫(kù)
3.1、創(chuàng)建數(shù)據(jù)同步用戶(hù)并授予相應(yīng)的權(quán)限
? ? ? ? ? ? ? ? ? 分配復(fù)制權(quán)限? ? ? ? 可操作的數(shù)據(jù)庫(kù)? 用戶(hù)? ? ? 用戶(hù)對(duì)應(yīng)的服務(wù)器地址? ? ? ? ? ? 密碼
mysql>? grant replication slave on *.* to 'homestead'@'192.168.10.13' identified by 'secret';
Query OK, 0 rows affected, 1 warning (0.01 sec)
Tips:
在搭建mysql主主復(fù)制的時(shí)候，創(chuàng)建一個(gè)新的具有replicaion權(quán)限的新用戶(hù)，sql命令如下：
mysql>grant replication slave on homestead.* to 'homestead'@'192.168.10.13' identified by 'secret';
提示錯(cuò)誤：ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES
錯(cuò)誤的原因是因?yàn)?，replication權(quán)限是一個(gè)全局權(quán)限，不可以指定在某一個(gè)庫(kù)上，所以，把創(chuàng)建用戶(hù)語(yǔ)句更改為如下即可：
mysql> grant replication slave on *.* to 'homestead'@'192.168.10.13' identified by 'secret';
Query OK, 0 rows affected (0.00 sec)
ok，一切正常，但是，為了安全起見(jiàn)，在創(chuàng)建新的用戶(hù)的時(shí)候，最好指定登陸地址，不然別人拿著你的賬號(hào)就要干壞事兒了，
雖然這個(gè)賬號(hào)只具備replication權(quán)限，但是也是具有危險(xiǎn)性的。所以，最后在執(zhí)行下：
//mysql新設(shè)置用戶(hù)或更改密碼后需用flush privileges刷新MySQL的系統(tǒng)權(quán)限相關(guān)表，否則會(huì)出現(xiàn)拒絕訪問(wèn)，還有一種方法，就是重新啟動(dòng)mysql服務(wù)器，來(lái)使新設(shè)置生效。-
mysql> flush privileges;
3.2、刷新授權(quán)表信息
mysql> flush privileges;
3.3、查看MySQL有哪些用戶(hù)及對(duì)應(yīng)的ip
mysql> select? user,host from mysql.user;
3.4、查看position和mysql-bin（從機(jī)上需要用到這個(gè)position號(hào)和現(xiàn)在的日志文件)
mysql> show master status;
4、為保證Master和Slave的數(shù)據(jù)一致，我們采用主備份，從還原來(lái)實(shí)現(xiàn)初始數(shù)據(jù)一致
4.1、先臨時(shí)鎖表
mysql> flush tables with read lock;
Query OK, 0 rows affected (0.00 sec)
4.2、 這里我們實(shí)行全庫(kù)備份，在實(shí)際中，我們可能只同步某一個(gè)庫(kù)，那也可以只備份一個(gè)庫(kù)
mysqldump -p3306 -u homestead -p --add-drop-table homestead > /home/vagrant/code/master-homestead.sql;
注意：實(shí)際生產(chǎn)環(huán)境中大數(shù)據(jù)量（超2G數(shù)據(jù)）的備份，建議不要使用mysqldump進(jìn)行比分，因?yàn)闀?huì)非常慢。此時(shí)推薦使用 XtraBackup進(jìn)行備份。
4.3、解鎖表
mysql> unlock tables;
Query OK, 0 rows affected (0.00 sec)
將Master上備份的數(shù)據(jù)遠(yuǎn)程傳送到Slave上，以用于Slave配置時(shí)恢復(fù)數(shù)據(jù)
vagrant@homestead:~/code$ scp master-homestead.sql? vagrant@192.168.10.13:/tmp/
The authenticity of host '192.168.10.13 (192.168.10.13)' can't be established.
ECDSA key fingerprint is SHA256:CFZaqzE7UkErH4SWREIdM+IJKT7RZK7gwr8TBiYL8LQ.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.10.13' (ECDSA) to the list of known hosts.
master-homestead.sql
5、修改Slave的配置文件（homestead）
vi /etc/mysql/mysql.conf.d/mysql.cnf
增加以下配置項(xiàng)
##### 設(shè)置server_id，一般設(shè)置為IP
server_id=13
##### 復(fù)制過(guò)濾：需要備份的數(shù)據(jù)庫(kù)，輸出binlog
binlog-do-db=homestead
#####復(fù)制過(guò)濾：不需要備份的數(shù)據(jù)庫(kù)，不輸出（mysql庫(kù)一般不同步）
binlog-ignore-db=mysql
##### 開(kāi)啟二進(jìn)制日志，以備Slave作為其它Slave的Master時(shí)使用
log-bin=edu-mysql-slave1-bin
##### 為每個(gè)session 分配的內(nèi)存，在事務(wù)過(guò)程中用來(lái)存儲(chǔ)二進(jìn)制日志的緩存
binlog_cache_size = 1M
##### 主從復(fù)制的格式（mixed,statement,row，默認(rèn)格式是statement）
binlog_format=mixed
## 二進(jìn)制日志自動(dòng)刪除/過(guò)期的天數(shù)。默認(rèn)值為0，表示不自動(dòng)刪除。
expire_logs_days=7
##### 跳過(guò)主從復(fù)制中遇到的所有錯(cuò)誤或指定類(lèi)型的錯(cuò)誤，避免slave端復(fù)制中斷。
##### 如：1062錯(cuò)誤是指一些主鍵重復(fù)，1032錯(cuò)誤是因?yàn)橹鲝臄?shù)據(jù)庫(kù)數(shù)據(jù)不一致
slave_skip_errors=1062
##### relay_log配置中繼日志
relay_log=/var/log/mysql/mysql-relay-slave-bin.log
##### log_slave_updates表示slave將復(fù)制事件寫(xiě)進(jìn)自己的二進(jìn)制日志
log_slave_updates=1
##### 防止改變數(shù)據(jù)(除了特殊的線(xiàn)程)
read_only=1
如果Slave為其它Slave的Master時(shí)，必須設(shè)置bin_log。在這里，我們開(kāi)啟了二進(jìn)制日志，而且顯式的命名(默認(rèn)名稱(chēng)為hostname，但是，如果hostname改變則會(huì)出現(xiàn)問(wèn)題)。
relay_log配置中繼日志，log_slave_updates表示slave將復(fù)制事件寫(xiě)進(jìn)自己的二進(jìn)制日志。
當(dāng)設(shè)置log_slave_updates時(shí)，你可以讓slave扮演其它slave的master。此時(shí)，slave把SQL線(xiàn)程執(zhí)行的事件寫(xiě)進(jìn)行自己的二進(jìn)制日志(binary log)，然后，它的slave可以獲取這些事件并執(zhí)行它。
6、保存退出并且重啟數(shù)據(jù)庫(kù)服務(wù)
7、在Slave上創(chuàng)建相同的數(shù)據(jù)庫(kù)
7.1導(dǎo)入數(shù)據(jù)庫(kù)
mysql -uhomestead -p homestead < /tmp/master-homestead.sql;
7.2、登陸Slave數(shù)據(jù)庫(kù)，添加相關(guān)參數(shù)
change master to master_host='192.168.10.11',master_user='homestead',master_password='secret',master_port=3306,master_log_file='mysql-bin.000003',master_log_pos =154,master_connect_retry=30;
上面執(zhí)行的命令的解釋?zhuān)?/p>
? ? master_host='192.168.1.205'? ? ? ? ? ? ? ? ? ## Master的IP地址
? ? master_user='repl'? ? ? ? ? ? ? ? ? ? ? ? ? ? ## 用于同步數(shù)據(jù)的用戶(hù)（在Master中授權(quán)的用戶(hù)）
? ? master_password='roncoo.123'? ? ## 同步數(shù)據(jù)用戶(hù)的密碼
? ? master_port=3306? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ## Master數(shù)據(jù)庫(kù)服務(wù)的端口
? ? master_log_file='edu-mysql-bin.000001'? ? ? ? ##指定Slave從哪個(gè)日志文件開(kāi)始讀復(fù)制數(shù)據(jù)（可在Master上使用show master status查看到日志文件名）
? ? master_log_pos=429? ? ? ? ? ? ? ? ? ? ? ? ## 從哪個(gè)POSITION號(hào)開(kāi)始讀
? ? master_connect_retry=30? ##當(dāng)重新建立主從連接時(shí)，如果連接建立失敗，間隔多久后重試。單位為秒，默認(rèn)設(shè)置為60秒，同步延遲調(diào)優(yōu)參數(shù)。
7.3、 查看主從同步狀態(tài)
mysql> show slave status\G;
? ? 可看到Slave_IO_State為空， Slave_IO_Running和Slave_SQL_Running是No，表明Slave還沒(méi)有開(kāi)始復(fù)制過(guò)程。
7.4、 開(kāi)啟主從同步
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
7.5、 再查看主從同步狀態(tài)
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.10.11
Master_User: homestead
Master_Port: 3306
Connect_Retry: 30
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 3162
Relay_Log_File: mysql-relay-slave-bin.000002
Relay_Log_Pos: 2940
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: No
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 1051
Last_Error: Error 'Unknown table 'homestead.total'' on query.? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Default database: 'homestead'. Query: 'DROP TABLE `total` /* generated by serve? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? r */'
Skip_Counter: 0
Exec_Master_Log_Pos: 2774
Relay_Log_Space: 3541
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 1051
Last_SQL_Error: Error 'Unknown table 'homestead.total'' on query.? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Default database: 'homestead'. Query: 'DROP TABLE `total` /* generated by serve? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? r */'
Replicate_Ignore_Server_Ids:
Master_Server_Id: 11
Master_UUID: 8da81032-9fbe-11e7-be2d-080027a8df8b
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State:
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp: 190311 07:45:51
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
ERROR:
No query specified
主要看以下兩個(gè)參數(shù)，這兩個(gè)參數(shù)如果是Yes就表示主從同步正常
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
7.6、可查看master和slave上線(xiàn)程的狀態(tài)。在master上，可以看到slave的I/O線(xiàn)程創(chuàng)建的連接：
Master : mysql> show processlist\G;
1.row為處理slave的I/O線(xiàn)程的連接。
2.row為處理MySQL客戶(hù)端連接線(xiàn)程。
3.row為處理本地命令行的線(xiàn)程。
7.7、查看Slave 的連接
mysql> show processlist\G;
*************************** 1. row ***************************
Id: 10
User: homestead
Host: 192.168.10.1:64038
db: NULL
Command: Sleep
Time: 6831
State:
Info: NULL
*************************** 2. row ***************************
Id: 14
User: system user
Host:
db: NULL
Command: Connect
Time: 5143
State: Waiting for master to send event
Info: NULL
*************************** 3. row ***************************
Id: 16
User: homestead
Host: 192.168.10.1:51022
db: homestead
Command: Sleep
Time: 5095
State:
Info: NULL
*************************** 4. row ***************************
Id: 17
User: homestead
Host: 192.168.10.1:51073
db: homestead
Command: Sleep
Time: 2580
State:
Info: NULL
*************************** 5. row ***************************
Id: 20
User: homestead
Host: localhost
db: NULL
Command: Query
Time: 0
State: starting
Info: show processlist
5 rows in set (0.00 sec)
ERROR:
No query specified
1.row為I/O線(xiàn)程狀態(tài)。
2.row為SQL線(xiàn)程狀態(tài)。
3.row為處理本地命令行的線(xiàn)程。
8、主從數(shù)據(jù)復(fù)制同步測(cè)試
? (1)在Master中的roncoo庫(kù)上變更數(shù)據(jù)的同步測(cè)試；
? ? mysql> INSERT INTO `student` ( `name`, `age`, `sex`, `updated_at`, `created_at`) VALUES ( '主從復(fù)制測(cè)試', '18', '0', '1507780978', '1507780589');
? Master中添加完之后，登錄Slave中查看數(shù)據(jù)是否已同步。
9、 測(cè)試過(guò)程中，如果遇到同步出錯(cuò)，可在Slave上重置主從復(fù)制設(shè)置（選操作）：
(1) mysql> reset slave;
? 注意：如果在Slave沒(méi)做只讀控制的情況下，千萬(wàn)不要在Slave中手動(dòng)插入數(shù)據(jù)，那樣數(shù)據(jù)就會(huì)不一致，主從就會(huì)斷開(kāi)，就需要重新配置了。
10、上面所搭建的是單向復(fù)制的主從，也是用的比較多的，而雙向主從其實(shí)就是Master和Slave都開(kāi)啟日志功能，然后在Master執(zhí)行授權(quán)用戶(hù)（這里授權(quán)的是自己作為從服務(wù)器，也就是這里的IP地址是Master的IP地址），然后再在Master上進(jìn)行chang master操作。
MySQL主從數(shù)據(jù)同步延遲問(wèn)題的調(diào)優(yōu)
基于局域網(wǎng)的Master/Slave機(jī)制在通常情況下已經(jīng)可以滿(mǎn)足“實(shí)時(shí)”備份的要求了。如果延遲比較大，可以從以下幾個(gè)因素進(jìn)行排查：
(1)網(wǎng)絡(luò)延遲；
(2) Master負(fù)載過(guò)高；
(3) Slave負(fù)載過(guò)高；
一般的做法是使用多臺(tái)Slave來(lái)分?jǐn)傋x請(qǐng)求，再單獨(dú)配置一臺(tái)Slave只作為備份用，不進(jìn)行其他任何操作，就能相對(duì)最大限度地達(dá)到“實(shí)時(shí)”的要求了。
兩個(gè)可以減少主從復(fù)制延遲的參數(shù)（按需配置）：
MySQL可以指定3個(gè)參數(shù)，用于復(fù)制線(xiàn)程重連主庫(kù)：--master-retry-count，--master-connect-retry，--slave-net-timeout。其中 master-connect-retry和 master-retry-count需要在 Change Master搭建主備復(fù)制時(shí)指定，而 slave-net-timeout是一個(gè)全局變量，可以在 MySQL運(yùn)行時(shí)在線(xiàn)設(shè)置。具體的重試策略為：備庫(kù)過(guò)了 slave-net-timeout秒還沒(méi)有收到主庫(kù)來(lái)的數(shù)據(jù)，它就會(huì)開(kāi)始第一次重試。然后每過(guò) master-connect-retry秒，備庫(kù)會(huì)再次嘗試重連主庫(kù)。直到重試了 master-retry-count次，它才會(huì)放棄重試。如果重試的過(guò)程中，連上了主庫(kù)，那么它認(rèn)為當(dāng)前主庫(kù)是好的，又會(huì)開(kāi)始 slave-net-timeout秒的等待。slave-net-timeout的默認(rèn)值是 3600秒，master-connect-retry默認(rèn)為 60秒，master-retry-count默認(rèn)為 86400次。也就是說(shuō)，如果主庫(kù)一個(gè)小時(shí)都沒(méi)有任何數(shù)據(jù)變更發(fā)送過(guò)來(lái)，備庫(kù)才會(huì)嘗試重連主庫(kù)。這就是為什么在我們模擬的場(chǎng)景下，一個(gè)小時(shí)后，備庫(kù)才會(huì)重連主庫(kù)，繼續(xù)同步數(shù)據(jù)變更的原因。
這樣的話(huà)，如果你的主庫(kù)上變更比較頻繁，可以考慮將 slave-net-timeout設(shè)置的小一點(diǎn)，避免主庫(kù) Binlog dump線(xiàn)程終止了，無(wú)法將最新的更新推送過(guò)來(lái)。當(dāng)然 slave-net-timeout設(shè)置的過(guò)小也有問(wèn)題，這樣會(huì)導(dǎo)致如果主庫(kù)的變更確實(shí)比較少的時(shí)候，備庫(kù)頻繁的重新連接主庫(kù)，造成資源浪費(fèi)。
slave-net-timeout=seconds
參數(shù)說(shuō)明：當(dāng)Slave從Master數(shù)據(jù)庫(kù)讀取log數(shù)據(jù)失敗后，等待多久重新建立連接并獲取數(shù)據(jù)，單位為秒，默認(rèn)設(shè)置為3600秒。
在做MySQL Slave的時(shí)候經(jīng)常會(huì)遇到很多錯(cuò)誤，需要根據(jù)具體原因跨過(guò)錯(cuò)誤繼續(xù)同步，但有時(shí)候是因?yàn)榫W(wǎng)絡(luò)不穩(wěn)定、網(wǎng)絡(luò)閃斷造成同步不正常，如果Slave機(jī)器非常多的情況下，一個(gè)一個(gè)登錄服務(wù)器去stop slave、start slave變得無(wú)聊而且重復(fù)。從MySQL5.1開(kāi)始支持的解決方案配置：
master-connect-retry=seconds
參數(shù)說(shuō)明：在主服務(wù)器宕機(jī)或連接丟失的情況下，從服務(wù)器線(xiàn)程重新嘗試連接主服務(wù)器之前睡眠的秒數(shù)。如果主服務(wù)器.info文件中的值可以讀取則優(yōu)先使用。如果未設(shè)置，默認(rèn)值為60。
通常配置以上2個(gè)參數(shù)可以減少網(wǎng)絡(luò)問(wèn)題導(dǎo)致的主從數(shù)據(jù)同步延遲。
一般網(wǎng)絡(luò)問(wèn)題的錯(cuò)誤是：
[ERROR] Error reading packet from server: Lost connection to MySQL server during query (server_errno=xxxx)
[ERROR] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘edu-mysql-bin.000256’? position 23456
原文參考：
