MySQL如何實(shí)時(shí)同步數(shù)據(jù)到ES？試試這款阿里開源的神器！

作者：碼不動(dòng)
鏈接：http://www.itdecent.cn/p/91aa28f0c375
來源：簡書

前言

mall項(xiàng)目中的商品搜索功能，一直都沒有做實(shí)時(shí)數(shù)據(jù)同步。最近發(fā)現(xiàn)阿里巴巴開源的canal可以把MySQL中的數(shù)據(jù)實(shí)時(shí)同步到Elasticsearch中，能很好地解決數(shù)據(jù)同步問題。今天我們來講講canal的使用，希望對(duì)大家有所幫助！

canal簡介

canal主要用途是對(duì)MySQL數(shù)據(jù)庫增量日志進(jìn)行解析，提供增量數(shù)據(jù)的訂閱和消費(fèi)，簡單說就是可以對(duì)MySQL的增量數(shù)據(jù)進(jìn)行實(shí)時(shí)同步，支持同步到MySQL、Elasticsearch、HBase等數(shù)據(jù)存儲(chǔ)中去。

canal工作原理

canal會(huì)模擬MySQL主庫和從庫的交互協(xié)議，從而偽裝成MySQL的從庫，然后向MySQL主庫發(fā)送dump協(xié)議，MySQL主庫收到dump請(qǐng)求會(huì)向canal推送binlog，canal通過解析binlog將數(shù)據(jù)同步到其他存儲(chǔ)中去。

image

canal使用

接下來我們來學(xué)習(xí)下canal的使用，以MySQL實(shí)時(shí)同步數(shù)據(jù)到Elasticsearch為例。
組件下載
首先我們需要下載canal的各個(gè)組件canal-server、canal-adapter、canal-admin，下載地址：https://github.com/alibaba/canal/releases

image

*canal的各個(gè)組件的用途各不相同，下面分別介紹下：
*canal-server（canal-deploy）：可以直接監(jiān)聽MySQL的binlog，把自己偽裝成MySQL的從庫，只負(fù)責(zé)接收數(shù)據(jù)，并不做處理。
*canal-adapter：相當(dāng)于canal的客戶端，會(huì)從canal-server中獲取數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行同步，可以同步到MySQL、Elasticsearch和HBase等存儲(chǔ)中去。

  • canal-admin：為canal提供整體配置管理、節(jié)點(diǎn)運(yùn)維等面向運(yùn)維的功能，提供相對(duì)友好的WebUI操作界面，方便更多用戶快速和安全的操作。

  • 由于不同版本的MySQL、Elasticsearch和canal會(huì)有兼容性問題，所以我們先對(duì)其使用版本做個(gè)約定。

    image

MySQL配置
由于canal是通過訂閱MySQL的binlog來實(shí)現(xiàn)數(shù)據(jù)同步的，所以我們需要開啟MySQL的binlog寫入功能，并設(shè)置binlog-format為ROW模式，我的配置文件為/mydata/mysql/conf/my.cnf，改為如下內(nèi)容即可；

[mysqld]
## 設(shè)置server_id，同一局域網(wǎng)中需要唯一
server_id=101 
## 指定不需要同步的數(shù)據(jù)庫名稱
binlog-ignore-db=mysql  
## 開啟二進(jìn)制日志功能
log-bin=mall-mysql-bin  
## 設(shè)置二進(jìn)制日志使用內(nèi)存大?。ㄊ聞?wù)）
binlog_cache_size=1M  
## 設(shè)置使用的二進(jìn)制日志格式（mixed,statement,row）
binlog_format=row  
## 二進(jìn)制日志過期清理時(shí)間。默認(rèn)值為0，表示不自動(dòng)清理。
expire_logs_days=7  
## 跳過主從復(fù)制中遇到的所有錯(cuò)誤或指定類型的錯(cuò)誤，避免slave端復(fù)制中斷。
## 如：1062錯(cuò)誤是指一些主鍵重復(fù)，1032錯(cuò)誤是因?yàn)橹鲝臄?shù)據(jù)庫數(shù)據(jù)不一致
slave_skip_errors=1062
  • 配置完成后需要重新啟動(dòng)MySQL，重啟成功后通過如下命令查看binlog是否啟用；
show variables like '%log_bin%'


+---------------------------------+-------------------------------------+
| Variable_name                   | Value                               |
+---------------------------------+-------------------------------------+
| log_bin                         | ON                                  |
| log_bin_basename                | /var/lib/mysql/mall-mysql-bin       |
| log_bin_index                   | /var/lib/mysql/mall-mysql-bin.index |
| log_bin_trust_function_creators | OFF                                 |
| log_bin_use_v1_row_events       | OFF                                 |
| sql_log_bin                     | ON                                  |
+---------------------------------+-------------------------------------+
  • 再查看下MySQL的binlog模式；
show variables like 'binlog_format%';  


+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
  • 接下來需要?jiǎng)?chuàng)建一個(gè)擁有從庫權(quán)限的賬號(hào)，用于訂閱binlog，這里創(chuàng)建的賬號(hào)為canal:canal；
CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
  • 創(chuàng)建好測(cè)試用的數(shù)據(jù)庫canal-test，之后創(chuàng)建一張商品表product，建表語句如下。
CREATE TABLE `product`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `price` decimal(10, 2) NULL DEFAULT NULL,
  `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

canal-server使用
將我們下載好的壓縮包canal.deployer-1.1.5-SNAPSHOT.tar.gz上傳到Linux服務(wù)器，然后解壓到指定目錄/mydata/canal-server，可使用如下命令解壓；

tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz
  • 解壓完成后目錄結(jié)構(gòu)如下；
├── bin
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── canal_local.properties
│   ├── canal.properties
│   └── example
│       └── instance.properties
├── lib
├── logs
│   ├── canal
│   │   └── canal.log
│   └── example
│       ├── example.log
│       └── example.log
└── plugin
  • 修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改數(shù)據(jù)庫相關(guān)配置；
# 需要同步數(shù)據(jù)的MySQL地址
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
# 用于同步數(shù)據(jù)的數(shù)據(jù)庫賬號(hào)
canal.instance.dbUsername=canal
# 用于同步數(shù)據(jù)的數(shù)據(jù)庫密碼
canal.instance.dbPassword=canal
# 數(shù)據(jù)庫連接編碼
canal.instance.connectionCharset = UTF-8
# 需要訂閱binlog的表過濾正則表達(dá)式
canal.instance.filter.regex=.*\\..*
  • 使用startup.sh腳本啟動(dòng)canal-server服務(wù)；
sh bin/startup.sh
  • 啟動(dòng)成功后可使用如下命令查看服務(wù)日志信息；
tail -f logs/canal/canal.log


2020-10-26 16:18:13.354 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]
2020-10-26 16:18:19.978 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is r
  • 啟動(dòng)成功后可使用如下命令查看instance日志信息；
tail -f logs/example/example.log 


2020-10-26 16:18:16.056 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2020-10-26 16:18:16.061 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2020-10-26 16:18:18.259 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$
2020-10-26 16:18:18.282 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$
2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position
2020-10-26 16:18:19.578 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position
 {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}
2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbou
  • 如果想要停止canal-server服務(wù)可以使用如下命令。
sh bin/stop.sh

canal-adapter使用
將我們下載好的壓縮包canal.adapter-1.1.5-SNAPSHOT.tar.gz上傳到Linux服務(wù)器，然后解壓到指定目錄/mydata/canal-adpter，解壓完成后目錄結(jié)構(gòu)如下；

├── bin
│   ├── adapter.pid
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── application.yml
│   ├── es6
│   ├── es7
│   │   ├── biz_order.yml
│   │   ├── customer.yml
│   │   └── product.yml
│   ├── hbase
│   ├── kudu
│   ├── logback.xml
│   ├── META-INF
│   │   └── spring.factories
│   └── rdb
├── lib
├── logs
│   └── adapter
│       └── adapter.log
└── plugin
  • 修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、數(shù)據(jù)源配置和客戶端適配器配置；
canal.conf:
  mode: tcp # 客戶端的模式，可選tcp kafka rocketMQ
  flatMessage: true # 扁平message開關(guān), 是否以json字符串形式投遞數(shù)據(jù), 僅在kafka/rocketMQ模式下有效
  zookeeperHosts:    # 對(duì)應(yīng)集群模式下的zk地址
  syncBatchSize: 1000 # 每次同步的批數(shù)量
  retries: 0 # 重試次數(shù), -1為無限重試
  timeout: # 同步超時(shí)時(shí)間, 單位毫秒
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    canal.tcp.server.host: 127.0.0.1:11111 #設(shè)置canal-server的地址
    canal.tcp.zookeeper.hosts:
    canal.tcp.batch.size: 500
    canal.tcp.username:
    canal.tcp.password:

  srcDataSources: # 源數(shù)據(jù)庫配置
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=true
      username: canal
      password: canal
  canalAdapters: # 適配器列表
  - instance: example # canal實(shí)例名或者M(jìn)Q topic名
    groups: # 分組列表
    - groupId: g1 # 分組id, 如果是MQ模式將用到該值
      outerAdapters:
      - name: logger # 日志打印適配器
      - name: es7 # ES同步適配器
        hosts: 127.0.0.1:9200 # ES連接地址
        properties:
          mode: rest # 模式可選transport(9300) 或者 rest(9200)
          # security.auth: test:123456 #  only used for rest mode
          cluster.name: elasticsearch # ES集群名稱
  • 添加配置文件canal-adapter/conf/es7/product.yml，用于配置MySQL中的表與Elasticsearch中索引的映射關(guān)系；
dataSourceKey: defaultDS # 源數(shù)據(jù)源的key, 對(duì)應(yīng)上面配置的srcDataSources中的值
destination: example  # canal的instance或者M(jìn)Q的topic
groupId: g1 # 對(duì)應(yīng)MQ模式下的groupId, 只會(huì)同步對(duì)應(yīng)groupId的數(shù)據(jù)
esMapping:
  _index: canal_product # es 的索引名稱
  _id: _id  # es 的_id, 如果不配置該項(xiàng)必須配置下面的pk項(xiàng)_id則會(huì)由es自動(dòng)分配
  sql: "SELECT
         p.id AS _id,
         p.title,
         p.sub_title,
         p.price,
         p.pic
        FROM
         product p"        # sql映射
  etlCondition: "where a.c_time>={}"   #etl的條件參數(shù)
  commitBatch: 3000   # 提交批大小
  • 使用startup.sh腳本啟動(dòng)canal-adapter服務(wù)；
sh bin/startup.sh
  • 啟動(dòng)成功后可使用如下命令查看服務(wù)日志信息；
tail -f logs/adapter/adapter.log


20-10-26 16:52:55.148 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed
2020-10-26 16:52:57.005 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... 
2020-10-26 16:52:57.376 [main] INFO  c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded
2020-10-26 16:52:58.615 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed
2020-10-26 16:52:58.651 [main] INFO  c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin
2020-10-26 16:52:59.043 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed
2020-10-26 16:52:59.044 [main] INFO  c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ......
2020-10-26 16:52:59.057 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============
2020-10-26 16:52:59.100 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]
2020-10-26 16:52:59.153 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-26 16:52:59.590 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''
2020-10-26 16:52:59.626 [main] INFO  c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)
2020-10-26 16:52:59.930 [Thread-4] INFO  c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============
  • 如果需要停止canal-adapter服務(wù)可以使用如下命令。
sh bin/stop.sh

數(shù)據(jù)同步演示

經(jīng)過上面的一系列步驟，canal的數(shù)據(jù)同步功能已經(jīng)基本可以使用了，下面我們來演示下數(shù)據(jù)同步功能。

  • 首先我們需要在Elasticsearch中創(chuàng)建索引，和MySQL中的product表相對(duì)應(yīng)，直接在Kibana的Dev Tools中使用如下命令創(chuàng)建即可；
PUT canal_product
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "sub_title": {
        "type": "text"
      },
      "pic": {
        "type": "text"
      },
      "price": {
        "type": "double"
      }
    }
  }
}
image

  • 創(chuàng)建完成后可以查看下索引的結(jié)構(gòu)；

    image

  • 之后使用如下SQL語句在數(shù)據(jù)庫中創(chuàng)建一條記錄；

INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戲智能手機(jī) 6GB+64GB', 1999.00, NULL

  • 創(chuàng)建成功后，在Elasticsearch中搜索下，發(fā)現(xiàn)數(shù)據(jù)已經(jīng)同步了；

    image

  • 再使用如下SQL對(duì)數(shù)據(jù)進(jìn)行修改；

UPDATE product SET title='小米10' WHERE id=5

  • 修改成功后，在Elasticsearch中搜索下，發(fā)現(xiàn)數(shù)據(jù)已經(jīng)修改了；

    image

  • 再使用如下SQL對(duì)數(shù)據(jù)進(jìn)行刪除操作；

DELETE FROM product WHERE id=5

  • 刪除成功后，在Elasticsearch中搜索下，發(fā)現(xiàn)數(shù)據(jù)已經(jīng)刪除了，至此MySQL同步到Elasticsearch的功能完成了！

    image

    canal-admin使用
    將我們下載好的壓縮包canal.admin-1.1.5-SNAPSHOT.tar.gz上傳到Linux服務(wù)器，然后解壓到指定目錄/mydata/canal-admin，解壓完成后目錄結(jié)構(gòu)如下；

├── bin
│   ├── restart.sh
│   ├── startup.bat
│   ├── startup.sh
│   └── stop.sh
├── conf
│   ├── application.yml
│   ├── canal_manager.sql
│   ├── canal-template.properties
│   ├── instance-template.properties
│   ├── logback.xml
│   └── public
│       ├── avatar.gif
│       ├── index.html
│       ├── logo.png
│       └── static
├── lib
└── logs

  • 創(chuàng)建canal-admin需要使用的數(shù)據(jù)庫canal_manager，創(chuàng)建SQL腳本為/mydata/canal-admin/conf/canal_manager.sql，會(huì)創(chuàng)建如下表；

    image

  • 修改配置文件conf/application.yml，按如下配置即可，主要是修改數(shù)據(jù)源配置和canal-admin的管理賬號(hào)配置，注意需要用一個(gè)有讀寫權(quán)限的數(shù)據(jù)庫賬號(hào)，比如管理賬號(hào)root:root；

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: root
  password: root
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin
  • 接下來對(duì)之前搭建的canal-server的conf/canal_local.properties文件進(jìn)行配置，主要是修改canal-admin的配置，修改完成后使用sh bin/startup.sh local重啟canal-server：
# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
  • 使用startup.sh腳本啟動(dòng)canal-admin服務(wù)；
sh bin/startup.sh
  • 啟動(dòng)成功后可使用如下命令查看服務(wù)日志信息；
tail -f logs/admin.log


020-10-27 10:15:04.210 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]
2020-10-27 10:15:04.308 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-27 10:15:04.534 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''
2020-10-27 10:15:04.573 [main] INFO  com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)

  • 訪問canal-admin的Web界面，輸入賬號(hào)密碼admin:123456即可登錄，訪問地址：http://192.168.3.101:8089

    image

  • 登錄成功后即可使用Web界面操作canal-server。

    image

參考資料

canal官方文檔：https://github.com/alibaba/canal/wiki

最后

喜歡文章的小伙伴可以點(diǎn)個(gè)贊哦~，最后，照舊安利一波我們的公眾號(hào)：「終端研發(fā)部」，目前每天都會(huì)推薦一篇優(yōu)質(zhì)的技術(shù)相關(guān)的文章，主要分享java相關(guān)的技術(shù)與面試技巧， 學(xué)習(xí)java不迷路。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容