17篇文章 · 16238字 · 1人關(guān)注
-
hadoop機架感知配置數(shù)據(jù)balance，datanode stale
前提 hdfs dfsadmin -setBalancerBandwidth 524288000/usr/lib/hadoop-current/...
-
hadoop getSplits 源碼分析
問題 mapreduce job 輸入10個180m的文件，生成多少個map job? blocksize=128mminsize=1mmaxs...
-
standby 節(jié)點報錯 Encountered exception loading fsimage 加載fsimage時遇到異常
關(guān)鍵：Encountered exception loading fsimage 加載fsimage時遇到異常排查路徑dfs.namenode....
-
ambari metric啟動異常問題記錄
上日志 解決1 卸載重裝metric服務(wù),沒用metric 自動生成hbase元數(shù)據(jù)問題和hfile，讓hbase master進行接管經(jīng)排查，...
-
NameNode Full GC導(dǎo)致集群退出問題剖析，以及重啟journalnode節(jié)點導(dǎo)致namenode掛掉原因分析元數(shù)據(jù)流程圖 問題1 在AsyncLogger異步flush寫JournalNode過程中，出現(xiàn)IOException，而這個IOExcepti...
-
NameNode瞬時高并發(fā)導(dǎo)致短暫不可用，Hadoop2.7二次開發(fā)版本hadoop 2.7 分段鎖優(yōu)化 Namenode的FSNamesystem類中主要有三塊。1、INodeMap中存著目錄樹的映射關(guān)系：Id...
-
hdfs 集群重建，block損壞定位以及修復(fù),Blocks with no live replicas，出現(xiàn)invalidate block
背景 說點沒用的，我司進行集群遷移，沒有用的測試機器要進行格式化賣掉了，然后突然一條偉大的命令，誤刪除了正在使用的hadoop集群所有節(jié)點的操作...
-
hdfs datanode 啟動流程中關(guān)于拉取namenode信息做元數(shù)據(jù)校驗hfds datanode 啟動組件 注冊心跳 BPOfferService.java 總結(jié) 可以發(fā)現(xiàn)，datanode通過BPServiceA...
-
hdfs namenode 啟動流程進入安全模式條件FSNamesystem.java 總結(jié) blockTotal=hdfs總塊數(shù)this.blockThreshold = (int) (bloc...
