簡述

Db2 是一款具有悠久歷史的關系型數據庫，由 IBM 公司開發(fā)和維護，廣泛應用于金融級業(yè)務場景。

CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能，用戶可以便利地將 Db2 中數據實時同步到其他數據庫，實現數據更廣泛、更實時的應用。

功能介紹

目標數據庫和能力

Db2 源端特色能力

基于 CDC 技術的數據同步

Db2 源端同步能力是基于 SQL 復制的 ASN 捕獲代理，CloudCanal 通過捕獲 Db2 CDC 表中的增量數據來實現數據同步。

Db2 源端進行增量數據同步時，CDC 元信息表的維護過程會被自動化管理，無需用戶手動操作。

同時，CloudCanal 會周期性地清理已經同步到目標端的 CDC 記錄，以避免 CDC 表的無限增長，從而保證同步數據的準確性和系統(tǒng)的穩(wěn)定性。

結構遷移類型自動處理

不同數據庫對于數據類型支持存在差異，CloudCanal 結構遷移時會進行類型自動轉換。

Db2 為源端的結構遷移也存在類似轉換(5+，并不斷細化)，如對端為 MySQL 或 TiDB，CloudCanal 將自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。

數據初始化支持斷點續(xù)傳

Db2 為源端的數據初始化，支持字符或數字類型主鍵表的斷點續(xù)傳功能。

對于億級別數據量的大表，此能力不可或缺，數據初始化斷點續(xù)傳功能讓此種暫停盡可能少的影響進度。

數據同步支持斷點續(xù)傳

長周期的數據同步任務，暫停任務調整參數、修復問題數據、優(yōu)化性能等情況很難避免，斷點續(xù)傳讓這些維護操作變成可能。

CloudCanal 定時或定量保存提交后的位點(LSN，log sequence number)，確保增量同步任務重啟后可繼續(xù)，并且不丟失數據。

配套數據校驗與訂正能力

在數據同步過程中，由于數據的外部關聯性、結構約束差異、數據庫運維操作、軟件bug等情況，兩端數據可能會不一致，此時數據校驗和訂正功能非常必要。

CloudCanal 為 Db2 為源端的數據同步能力額外提供了數據校驗和數據訂正功能，快速確定不一致數據范圍，并針對差異數據進行修復。

產品化能力支撐

可視化創(chuàng)建

CloudCanal 創(chuàng)建 Db2 數據遷移同步任務是完全可視化的，通過獲取數據庫元數據，讓用戶在 web 頁面上決定哪些庫、表、列進行遷移同步，或者設定過濾條件、自定義數據處理邏輯等。

自動化流程

Db2 數據遷移同步任務創(chuàng)建后，CloudCanal 將自動流轉各個階段的任務，用戶無需干涉，直達數據實時同步狀態(tài)。

監(jiān)控圖表支撐

CloudCanal 為 Db2 數據遷移同步任務提供了多個實用監(jiān)控指標，包括增量緩存RPS、增量緩存延遲(ms)、內存隊列數據個數等，當調優(yōu)任務性能或排查任務異常原因時，監(jiān)控指標提供了很好的判斷依據。

告警支持

CloudCanal 為 Db2 數據遷移任務提供了包括釘釘/企業(yè)微信/飛書/自定義等 webhook 類型告警，對于企業(yè)級客戶，可額外選擇郵件，以及短信告警，實時保障同步任務的高可用。

簡單示例

本示例以將數據從 Db2 數據庫同步到 MySQL 數據庫為操作案例，以便更好地說明 CloudCanal 在不同數據庫之間進行數據同步的能力。

準備動作

• 準備 CloudCanal，安裝詳細請參考：全新安裝
• 準備好 Db2 數據庫（本例使用 11.5 版本）和 MySQL 數據庫（本例使用 8.0 版本）
• 登錄 CloudCanal 平臺 ，添加 Db2 和 MySQL
• Db2 源端如果需要增量同步需要開啟 CDC，詳細請參考：Db2 源端 CDC 同步準備
  
  1.jpg

任務創(chuàng)建

• 任務管理 -> 新建任務

• 測試鏈接并選擇 源 和 目標 數據庫

• 點擊下一步

  
  
  2.jpg

• 選擇 數據同步，并勾選 全量數據初始化，其他選項默認

  
  
  3.jpg

• 選擇需要遷移同步的表和列

  
  
  4.jpg
  
  
  5.jpg

• 確認創(chuàng)建任務

  
  
  6.jpg

• 任務自動做結構遷移、全量遷移、增量同步

  
  
  7.jpg

• 增量階段進行數據寫入后，進行數據校驗，數據校驗通過

  
  
  8.jpg

總結

本文主要介紹了 CloudCanal 支持 Db2 為源端數據遷移同步功能，通過這個能力，用戶可以便利地將 Db2 中數據實時同步到其他數據庫，實現數據更廣泛、更實時的應用。