目錄

1、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(一) - 開(kāi)啟Binlog日志
2、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(二) - 安裝并運(yùn)行Kafka
3、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(三) - Binlog日志生產(chǎn)消息到Kafka
4、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費(fèi)Kafka消息同步數(shù)據(jù)到ES

前言

- 項(xiàng)目模塊

BinlogMiddleware

1、binlog中間件，負(fù)責(zé)解析binlog，把變動(dòng)的數(shù)據(jù)以json形式發(fā)送到kafka隊(duì)列。

KafkaMiddleware

2、kafka中間件，負(fù)責(zé)消費(fèi)kafka隊(duì)列中的Message，把數(shù)據(jù)寫(xiě)入Elasticsearch中。

- 基礎(chǔ)服務(wù)

（1）Mysql

（2）Kafka（用于存放mysql變動(dòng)消息，存放于Kafka隊(duì)列）

（3）Elasticsearch

- 項(xiàng)目源碼

碼云：https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch

1、開(kāi)啟mysql的binlog

（1）binlog簡(jiǎn)介

binlog,即二進(jìn)制日志,它記錄了數(shù)據(jù)庫(kù)上的所有改變，并以二進(jìn)制的形式保存在磁盤(pán)中；
它可以用來(lái)查看數(shù)據(jù)庫(kù)的變更歷史、數(shù)據(jù)庫(kù)增量備份和恢復(fù)、Mysql的復(fù)制（主從數(shù)據(jù)庫(kù)的復(fù)制）。

（2）Binary Log記錄方式

Row Level

Binary Log會(huì)記錄成每一行數(shù)據(jù)被修改的形式，然后在Slave端再對(duì)相同的數(shù)據(jù)進(jìn)行修改。
如果修改了表的結(jié)構(gòu)，那么binlog日志記錄的是重新創(chuàng)建表，在插入字段、update等操作語(yǔ)句，而不是的alter的動(dòng)作。
優(yōu)點(diǎn)：在Row Level模式下，Binnary Log可以不記錄執(zhí)行的Query語(yǔ)句的上下文相關(guān)信息，只要記錄哪一行修改了，修改成什么樣子。Row Level會(huì)詳細(xì)的記錄下每一行數(shù)據(jù)的修改細(xì)節(jié)，而且不會(huì)出現(xiàn)某個(gè)特定情況下的存儲(chǔ)過(guò)程，或Function，以及Trigger的調(diào)用和觸發(fā)無(wú)法被正確復(fù)制問(wèn)題。
缺點(diǎn)：產(chǎn)生大量的日志內(nèi)容。

Statment Level

每一條會(huì)修改的SQL語(yǔ)句都會(huì)記錄到Master的Binnary中。Slave端在復(fù)制的時(shí)候，SQL線(xiàn)程會(huì)解析成和原來(lái)Master端執(zhí)行過(guò)相同的SQL語(yǔ)句，并再次執(zhí)行。
優(yōu)點(diǎn)：首先，解決了Row Level下的缺點(diǎn)，不須要記錄每一行的數(shù)據(jù)變化，減少了Binnary Log日志量，節(jié)約了IO成本，提高了性能。
缺點(diǎn)：由于它是記錄的執(zhí)行語(yǔ)句，為了讓這些語(yǔ)句在Slave端也能正確執(zhí)行。那么它還必須記錄每條語(yǔ)句在執(zhí)行時(shí)的一些相關(guān)信息，即上下文信息，以保證所有語(yǔ)句在Slave端被執(zhí)行的時(shí)候能夠得到和在Master端執(zhí)行時(shí)相同的結(jié)果。另外，由于MySQL發(fā)展比較快，很多新功能不斷加入，使得MySQL復(fù)制遇到了不小的挑戰(zhàn)，復(fù)制時(shí)設(shè)計(jì)的內(nèi)容岳父在，越容易出bug。在Statement Level下，目前已發(fā)現(xiàn)不少的情況下會(huì)造成MySQL的復(fù)制問(wèn)題。主要是在修改數(shù)據(jù)使用了某些特定的函數(shù)貨功能后，出現(xiàn)，比如：Sleep()函數(shù)在有些版本中就不能正確的復(fù)制，在存儲(chǔ)過(guò)程中使用了last_insert_id()函數(shù)，可能會(huì)使Slave和Master的到不一致的ID，等等。

Mixed Level

在Mixed模式下，MySQL會(huì)根據(jù)執(zhí)行的每一條具體的SQL語(yǔ)句來(lái)區(qū)分對(duì)待記錄的日志形式，也就是在Statement和Row之間選擇一種。除了MySQL認(rèn)為通過(guò)Statement方式可能造成復(fù)制過(guò)程中Master和Slave之間產(chǎn)生不一致數(shù)據(jù)。(如特殊Procedure和Funtion的使用，UUID()函數(shù)的使用等特殊情況)時(shí)，它會(huì)選擇ROW的模式來(lái)記錄變更之外，都會(huì)使用Statement方式。
ps：在后續(xù)開(kāi)發(fā)中將使用Row格式

（3）開(kāi)啟mysql的binlog

a.修改my.cnf配置

[mysqld]
log-bin=mysql-bin  # 開(kāi)啟binlog
binlog-format=ROW  # 設(shè)置Binary Log記錄方式為Row
server_id=1 # 記住id 后續(xù)開(kāi)發(fā)會(huì)使用

b.重啟mysql

mysql.server restart

c.查看開(kāi)啟狀態(tài)

輸入 show variables like 'log_bin'; 查看binlog開(kāi)啟狀態(tài)。如下圖所示。

查看開(kāi)啟狀態(tài)

輸入 show variables like 'binlog_format'; 查看Binary Log記錄方式。如下圖所示。

查看Binary Log記錄方式