發(fā)簡(jiǎn)信
IP屬地：浙江
-
一次HBase集群崩潰的修復(fù)歷程
【前言】最近部門(mén)因?yàn)閿?shù)據(jù)安全問(wèn)題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段，在集群重啟后發(fā)生如下兩個(gè)錯(cuò)誤，導(dǎo)致HBase集群無(wú)法正常恢復(fù)：（1）H...
-
HDFS Trash功能詳解【前言】對(duì)于線上生產(chǎn)環(huán)境的HDFS，開(kāi)啟回收站功能是必不可少的。該功能類似于linux系統(tǒng)的回收站設(shè)計(jì)，HDFS會(huì)為每個(gè)用戶創(chuàng)建一個(gè)專屬的回收站...
-
HDFS balance策略詳解
【前言】線上長(zhǎng)時(shí)間運(yùn)行的大規(guī)模Hadoop集群，各個(gè)datanode節(jié)點(diǎn)磁盤(pán)空間使用率經(jīng)常會(huì)出現(xiàn)分布不均衡的情況，尤其在新增和下架節(jié)點(diǎn)、或者人為...
-
Spark源碼編譯
前言：因?yàn)榫€上生產(chǎn)環(huán)境和實(shí)際業(yè)務(wù)需求的復(fù)雜性，不可避免地需要修改spark源碼，重新編譯并測(cè)試完成后應(yīng)用于線上生產(chǎn)環(huán)境。本文主要介紹作者在Lin...
-
zookeeper技術(shù)內(nèi)幕【簡(jiǎn)介】zookeeper是為分布式應(yīng)用所設(shè)計(jì)的高可用、高性能且一致的開(kāi)源協(xié)調(diào)服務(wù)，是大數(shù)據(jù)分布式集群的基礎(chǔ)組件，為集群提供分布式鎖服務(wù)。同時(shí)，...
-
生產(chǎn)環(huán)境NameNode可靠性保證
前言：Hadoop NameNode節(jié)點(diǎn)維護(hù)了整個(gè)HDFS集群所有的元數(shù)據(jù)信息，一旦NameNode發(fā)生腦裂，或者服務(wù)不可用，整個(gè)HDFS集群都...
-
NameNode HA實(shí)現(xiàn)原理前言：在Hadoop 1.x版本，HDFS集群的NameNode一直存在單點(diǎn)故障問(wèn)題：集群只存在一個(gè)NameNode節(jié)點(diǎn)，它維護(hù)了HDFS所有的...
-
Spark版本升級(jí)二三事
起因：部門(mén)準(zhǔn)備將數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL。此前集群已經(jīng)自帶了Spark-1.5.2，系HDP-2.3.4...
-
NameNode HA異常調(diào)查
【起因】22:31:04分被通知集群異常，無(wú)法正常處理調(diào)度任務(wù)；遠(yuǎn)程登錄查看，發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂； NameNode節(jié)點(diǎn)：n...