1. canal 是什么

阿里巴巴 MySQL binlog 增量訂閱&消費組件
canal [k?'n?l]，譯意為水道/管道/溝渠，主要用途是基于 MySQL 數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱和消費

1.1 基于日志增量訂閱和消費的業(yè)務(wù)包括

• 數(shù)據(jù)庫鏡像
• 數(shù)據(jù)庫實時備份
• 索引構(gòu)建和實時維護(hù)(拆分異構(gòu)索引、倒排索引等)
• 業(yè)務(wù) cache 刷新
• 帶業(yè)務(wù)邏輯的增量數(shù)據(jù)處理
• 當(dāng)前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

1.2 canal Git地址

alibaba/canal: 阿里巴巴 MySQL binlog 增量訂閱&消費組件 (github.com)

2. 工作原理

MySQL主備復(fù)制原理

主備復(fù)制原理

• MySQL master 將數(shù)據(jù)變更寫入二進(jìn)制日志( binary log, 其中記錄叫做二進(jìn)制日志事件binary log events，可以通過 show binlog events 進(jìn)行查看)
• MySQL slave 將 master 的 binary log events 拷貝到它的中繼日志(relay log)
• MySQL slave 重放 relay log 中事件，將數(shù)據(jù)變更反映它自己的數(shù)據(jù)

canal 工作原理

• canal 模擬 MySQL slave 的交互協(xié)議，偽裝自己為 MySQL slave ，向 MySQL master 發(fā)送dump 協(xié)議
• MySQL master 收到 dump 請求，開始推送 binary log 給 slave (即 canal )
• canal 解析 binary log 對象(原始為 byte 流)

3.版本

• 推薦版本：1.1.4
• ReleaseNotes
• 下載發(fā)布包：download
• maven依賴

<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.4</version>
</dependency>

4.Quick Start

4.1 準(zhǔn)備

對于自建 MySQL , 需要先開啟 Binlog 寫入功能，配置 binlog-format 為 ROW 模式，my.cnf 中配置如下

[mysqld]
log-bin=mysql-bin # 開啟 binlog
binlog-format=ROW # 選擇 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定義，不要和 canal 的 slaveId 重復(fù)

注意：針對阿里云 RDS for MySQL , 默認(rèn)打開了 binlog , 并且賬號默認(rèn)具有 binlog dump 權(quán)限 , 不需要任何權(quán)限或者 binlog 設(shè)置,可以直接跳過這一步
授權(quán) canal 鏈接 MySQL 賬號具有作為 MySQL slave 的權(quán)限, 如果已有賬戶可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

4.2 啟動

• 下載 canal, 訪問 release 頁面 , 選擇需要的包下載, 如以 1.0.17 版本為例

    wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz

• 解壓縮

```
mkdir /tmp/canal
tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal
```

• 解壓完成后，進(jìn)入 /tmp/canal 目錄，可以看到如下結(jié)構(gòu)

     drwxr-xr-x 2 jianghang jianghang  136 2013-02-05 21:51 bin
     drwxr-xr-x 4 jianghang jianghang  160 2013-02-05 21:51 conf
     drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib
     drwxr-xr-x 2 jianghang jianghang   48 2013-02-05 21:29 logs     

• 配置修改

  vi conf/example/instance.properties
  

  ## mysql serverId
  canal.instance.mysql.slaveId = 1234
  #position info，需要改成自己的數(shù)據(jù)庫信息
  canal.instance.master.address = 127.0.0.1:3306 
  canal.instance.master.journal.name = 
  canal.instance.master.position = 
  canal.instance.master.timestamp = 
  #canal.instance.standby.address = 
  #canal.instance.standby.journal.name =
  #canal.instance.standby.position = 
  #canal.instance.standby.timestamp = 
  #username/password，需要改成自己的數(shù)據(jù)庫信息
  canal.instance.dbUsername = canal  
  canal.instance.dbPassword = canal
  canal.instance.defaultDatabaseName =
  canal.instance.connectionCharset = UTF-8
  #table regex
  canal.instance.filter.regex = .\*\\\\..\*
  

  • canal.instance.connectionCharset 代表數(shù)據(jù)庫的編碼方式對應(yīng)到 java 中的編碼類型，比如 UTF-8，GBK , ISO-8859-1
  • 如果系統(tǒng)是1個 cpu，需要將 canal.instance.parser.parallel 設(shè)置為 false

• 啟動

  sh bin/startup.sh
  

• 查看 server 日志

  vi logs/canal/canal.log</pre>
  

  2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
  2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
  2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
  

• 查看 instance 的日志

  vi logs/example/example.log
  

  2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
  2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
  2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
  2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....
  
  

• 關(guān)閉

  sh bin/stop.sh
  

Canal 配置參考

AdminGuide · alibaba/canal Wiki (github.com)