【大數(shù)據(jù)】集群 zk 連接數(shù)過多問題排查

背景：

周末接受到信總報(bào)警，說我們查詢 hbase 的服務(wù)日志爆了，回頭看應(yīng)用日志，發(fā)現(xiàn)一直在報(bào) zk 的連接問題

image.png

到集群上看了下 801 主機(jī) zk 連接數(shù)量居然達(dá)到了 2040，查看下 zk 的 maximum client connect 配置為 2000

超過了最大連接數(shù)，自然會(huì)報(bào)錯(cuò)。

image.png

登陸應(yīng)用主機(jī)，輸入

netstat -an | grep -I 2181

檢查和 zk 的連接

發(fā)現(xiàn)確實(shí)上千

思考了一下查詢 hbase 什么時(shí)候會(huì)和 zk 建立連接？

每次建立 Hbase 連接的時(shí)候會(huì)去建立 zk 的連接，Hbase 連接應(yīng)該是單例的類，檢查代碼發(fā)現(xiàn)

image.png

Connection 為方法參數(shù)，這樣勢(shì)必會(huì)造成 connection 每次創(chuàng)建完不釋放的問題
改為靜態(tài)變量問題解決：

image.png