由于當(dāng)前階段需要對生產(chǎn)集群(cdh5.14,)的hbase數(shù)據(jù)進(jìn)行災(zāi)備(備份集群cdh6.1),開始調(diào)研hbase的集群同步方案。
主要是兩種場景:
- 需要hbase的存量數(shù)據(jù)。有些業(yè)務(wù)已經(jīng)積累了大量數(shù)據(jù)。
- 不需要hbase的存量數(shù)據(jù)。這種主要是一些表的數(shù)據(jù)很快全量更新的,另外一些表可以新建。
調(diào)研
- 支持cdh5與cdh6集群之間的同步
不會同步的修改
- 同步之前的數(shù)據(jù)
- 繞過了WAL的操作。比如BulkLoad 或者 `write
todo
一個常見的集群同步案例

image.png
- 方塊是集群
- 有向連接性表示數(shù)據(jù)同步的方向