有沒(méi)有這樣一樣情況，把一個(gè)集群中的某個(gè)表導(dǎo)到另一個(gè)群集中，或者h(yuǎn)base的表結(jié)構(gòu)發(fā)生了更改，但是數(shù)據(jù)還要，比如預(yù)分區(qū)沒(méi)做，導(dǎo)致某臺(tái)RegionServer很吃緊，Hbase的導(dǎo)出導(dǎo)出都可以很快的完成這些操作。

環(huán)境使用

現(xiàn)在環(huán)境上面有一張表logTable，有一個(gè)ext列簇
但是沒(méi)有做預(yù)分區(qū)，雖然可以強(qiáng)制拆分表，但是split的start,end范圍無(wú)法精確控制。

方式一 (先導(dǎo)出再導(dǎo)出)

1. 創(chuàng)建導(dǎo)出目錄

hadoop fs -mkdir /tmp/hbase-export

2. 備份表數(shù)據(jù)
   使用hbase內(nèi)置的mr命令,會(huì)默認(rèn)導(dǎo)出到hdfs中

hbase org.apache.hadoop.hbase.mapreduce.Export \
 -D hbase.mapreduce.scan.column.family=ext \
logTable hdfs:///tmp/hbase-export/logTable

3. 刪除表

disable 'logTable'
drop 'logTable'

4. 創(chuàng)建表
   數(shù)據(jù)3天過(guò)期，可以根據(jù)RegionServer的個(gè)數(shù)做預(yù)分區(qū)，假設(shè)有8臺(tái)，則使用下面的方式。
   由于我們是使用MD5("uid")前兩位作為打散,范圍為00~ff 256個(gè)分片,可以使用如下方式。

# scala shell 創(chuàng)建方式
(0 until 256 by 256/8).map(Integer.toHexString).map(i=>s"0$i".takeRight(2))

hbase創(chuàng)表

create 'logTable',{ \
  NAME => 'ext',TTL => '3 DAYS', \
  CONFIGURATION => {
  'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy', \
  'KeyPrefixRegionSplitPolicy.prefix_length' => '2'
  }, \
  COMPRESSION => 'SNAPPY' \
}, \
SPLITS => ['20', '40', '60', '80', 'a0', 'c0', 'e0']

5. 導(dǎo)出備份數(shù)據(jù)

hbase org.apache.hadoop.hbase.mapreduce.Import logTable hdfs:///tmp/hbase-export/logTable

注意事項(xiàng)

1. 默認(rèn)導(dǎo)出所有列簇，可通過(guò)指定-D hbase.mapreduce.scan.column.family=ext,info參數(shù)導(dǎo)出。
2. 如果另一張表沒(méi)有源表對(duì)應(yīng)的列簇將會(huì)出錯(cuò)。