大數(shù)據(jù)運(yùn)維問題記錄(八)

問題描述:一個hbase集群出現(xiàn)數(shù)據(jù)傾斜,并且服務(wù)器經(jīng)常會宕機(jī)
問題解決:登錄60010界面查看region的分布情況,發(fā)現(xiàn)region分布不均衡

Paste_Image.png

同時Regions in Transiton報如下問題:

Paste_Image.png

重啟master server 問題依舊
執(zhí)行assign 'REGIONNAME'命令后問題依舊
同時查看該region所在regionserver的信息發(fā)現(xiàn)報如下錯誤

Paste_Image.png
Paste_Image.png

發(fā)現(xiàn)是有一個phoenix表的那個region一直加載不了,確定我們沒有用到phoenix,找到該region的editlog刪除掉后重新assign,就不報Regions in Transition信息了
過一會查看region分布情況如下,region分布算是均衡了

Paste_Image.png

查看dn列表

Paste_Image.png

發(fā)現(xiàn)還是有些服務(wù)器的數(shù)據(jù)還是比較多,找出存儲較大的表,并且查看這些表的region大小,發(fā)現(xiàn)數(shù)據(jù)還算均衡

Paste_Image.png

對這些大表執(zhí)行major_compact過段時間看dn列表中的數(shù)據(jù)情況發(fā)現(xiàn)有所緩解

Paste_Image.png

總結(jié):數(shù)據(jù)不均衡的問題主要是有一個phoenix表的那個region一直加載不了,導(dǎo)致hbase balancer啟動不了,phoenix版本和hbase不適配還會造成服務(wù)器偶爾宕機(jī),經(jīng)過刪除有問題region的editlog,重新assign可恢復(fù),同時每天晚上對一些大表進(jìn)行major_compact可以緩解數(shù)據(jù)傾斜的情況

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容