發(fā)簡信
IP屬地：浙江
-
一次HBase集群崩潰的修復歷程
【前言】最近部門因為數(shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段，在集群重啟后發(fā)生如下兩個錯誤，導致HBase集群無法正?；謴停海?）H...
-
HDFS Trash功能詳解【前言】對于線上生產(chǎn)環(huán)境的HDFS，開啟回收站功能是必不可少的。該功能類似于linux系統(tǒng)的回收站設計，HDFS會為每個用戶創(chuàng)建一個專屬的回收站...
-
HDFS balance策略詳解
【前言】線上長時間運行的大規(guī)模Hadoop集群，各個datanode節(jié)點磁盤空間使用率經(jīng)常會出現(xiàn)分布不均衡的情況，尤其在新增和下架節(jié)點、或者人為...
-
Spark源碼編譯
前言：因為線上生產(chǎn)環(huán)境和實際業(yè)務需求的復雜性，不可避免地需要修改spark源碼，重新編譯并測試完成后應用于線上生產(chǎn)環(huán)境。本文主要介紹作者在Lin...
-
zookeeper技術內幕【簡介】zookeeper是為分布式應用所設計的高可用、高性能且一致的開源協(xié)調服務，是大數(shù)據(jù)分布式集群的基礎組件，為集群提供分布式鎖服務。同時，...
-
生產(chǎn)環(huán)境NameNode可靠性保證
前言：Hadoop NameNode節(jié)點維護了整個HDFS集群所有的元數(shù)據(jù)信息，一旦NameNode發(fā)生腦裂，或者服務不可用，整個HDFS集群都...
-
NameNode HA實現(xiàn)原理前言：在Hadoop 1.x版本，HDFS集群的NameNode一直存在單點故障問題：集群只存在一個NameNode節(jié)點，它維護了HDFS所有的...
-
Spark版本升級二三事
起因：部門準備將數(shù)據(jù)倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL。此前集群已經(jīng)自帶了Spark-1.5.2，系HDP-2.3.4...
-
NameNode HA異常調查
【起因】22:31:04分被通知集群異常，無法正常處理調度任務；遠程登錄查看，發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂； NameNode節(jié)點：n...