問題描述:一個hbase集群出現(xiàn)數(shù)據(jù)傾斜,并且服務(wù)器經(jīng)常會宕機(jī)
問題解決:登錄60010界面查看region的分布情況,發(fā)現(xiàn)region分布不均衡

同時Regions in Transiton報如下問題:

重啟master server 問題依舊
執(zhí)行assign 'REGIONNAME'命令后問題依舊
同時查看該region所在regionserver的信息發(fā)現(xiàn)報如下錯誤


發(fā)現(xiàn)是有一個phoenix表的那個region一直加載不了,確定我們沒有用到phoenix,找到該region的editlog刪除掉后重新assign,就不報Regions in Transition信息了
過一會查看region分布情況如下,region分布算是均衡了

查看dn列表

發(fā)現(xiàn)還是有些服務(wù)器的數(shù)據(jù)還是比較多,找出存儲較大的表,并且查看這些表的region大小,發(fā)現(xiàn)數(shù)據(jù)還算均衡

對這些大表執(zhí)行major_compact過段時間看dn列表中的數(shù)據(jù)情況發(fā)現(xiàn)有所緩解

總結(jié):數(shù)據(jù)不均衡的問題主要是有一個phoenix表的那個region一直加載不了,導(dǎo)致hbase balancer啟動不了,phoenix版本和hbase不適配還會造成服務(wù)器偶爾宕機(jī),經(jīng)過刪除有問題region的editlog,重新assign可恢復(fù),同時每天晚上對一些大表進(jìn)行major_compact可以緩解數(shù)據(jù)傾斜的情況