【前言】最近部門因?yàn)閿?shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段,在集群重啟后發(fā)生如下兩個(gè)錯(cuò)誤,導(dǎo)致HBase集群無法正?;謴?fù):(1)HMaster節(jié)點(diǎn)自動(dòng)失??;(2...
【前言】最近部門因?yàn)閿?shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段,在集群重啟后發(fā)生如下兩個(gè)錯(cuò)誤,導(dǎo)致HBase集群無法正?;謴?fù):(1)HMaster節(jié)點(diǎn)自動(dòng)失??;(2...
【前言】對(duì)于線上生產(chǎn)環(huán)境的HDFS,開啟回收站功能是必不可少的。該功能類似于linux系統(tǒng)的回收站設(shè)計(jì),HDFS會(huì)為每個(gè)用戶創(chuàng)建一個(gè)專屬的回收站目錄(/user/${user...
【前言】線上長(zhǎng)時(shí)間運(yùn)行的大規(guī)模Hadoop集群,各個(gè)datanode節(jié)點(diǎn)磁盤空間使用率經(jīng)常會(huì)出現(xiàn)分布不均衡的情況,尤其在新增和下架節(jié)點(diǎn)、或者人為干預(yù)副本數(shù)量的時(shí)候。節(jié)點(diǎn)空間使...
【簡(jiǎn)介】zookeeper是為分布式應(yīng)用所設(shè)計(jì)的高可用、高性能且一致的開源協(xié)調(diào)服務(wù),是大數(shù)據(jù)分布式集群的基礎(chǔ)組件,為集群提供分布式鎖服務(wù)。同時(shí),用戶可以在分布式鎖的基礎(chǔ)上開發(fā)...
前言:Hadoop NameNode節(jié)點(diǎn)維護(hù)了整個(gè)HDFS集群所有的元數(shù)據(jù)信息,一旦NameNode發(fā)生腦裂,或者服務(wù)不可用,整個(gè)HDFS集群都將處于不可用狀態(tài)。對(duì)于線上生產(chǎn)...
前言:在Hadoop 1.x版本,HDFS集群的NameNode一直存在單點(diǎn)故障問題:集群只存在一個(gè)NameNode節(jié)點(diǎn),它維護(hù)了HDFS所有的元數(shù)據(jù)信息,當(dāng)該節(jié)點(diǎn)所在服務(wù)器...
起因:部門準(zhǔn)備將數(shù)據(jù)倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL。此前集群已經(jīng)自帶了Spark-1.5.2,系HDP-2.3.4自帶的Spark組件,現(xiàn)在需要...
【起因】22:31:04分被通知集群異常,無法正常處理調(diào)度任務(wù);遠(yuǎn)程登錄查看,發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂; NameNode節(jié)點(diǎn):name21.hadoop,na...