前言 本文介紹如何在ubuntu上部署k8s集群，大致可以分為如下幾個(gè)步驟： 修改ubuntu配置 安裝docker 安裝kubeadm、kubectl以及kubelet 初...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
ubuntu 安裝 k8s -
K8S的安裝(Ubuntu 20.04)前言 本文介紹如何在ubuntu上部署k8s集群，大致可以分為如下幾個(gè)步驟： 修改ubuntu配置 安裝docker 安裝kubeadm、kubectl以及kubelet 初...
-
通過(guò)代理服務(wù)訪問(wèn) HDFS 集群背景 在 HDFS 使用過(guò)程中，有時(shí)會(huì)需要一個(gè)類(lèi)似代理的機(jī)制，即：通過(guò)一臺(tái)或多臺(tái)代理服務(wù)器，來(lái)代理某一批機(jī)器的 HDFS 訪問(wèn)。需要注意的是，大部分情況下，代理服務(wù)器只需要代...
-
KMS 對(duì) HDFS 性能影響測(cè)試報(bào)告測(cè)試環(huán)境 測(cè)試使用現(xiàn)網(wǎng)機(jī)器，各項(xiàng)指標(biāo)如下，KMS Server 所使用的 JVM 參數(shù)均取默認(rèn)值（KMS Server 并非內(nèi)存占用型進(jìn)程，內(nèi)存、GC 等配置并非必要）。 項(xiàng)...
-
借助 KMS (Hadoop Key Management Server) 實(shí)現(xiàn) HDFS 數(shù)據(jù)加密原生 KMS 模型 概覽 適用場(chǎng)景 將 DataNode 上的數(shù)據(jù) block 加密存放，這樣即使惡意用戶(hù)通過(guò)某種方式繞過(guò)了權(quán)限控制，或直接訪問(wèn)了 DataNode，獲取了其...
-
高網(wǎng)絡(luò)時(shí)延情況下提升HDFS IO速度背景 有時(shí)候，Hadoop 的計(jì)算集群和存儲(chǔ)集群之間，可能會(huì)有非常大的網(wǎng)絡(luò)延遲（例如異地部署的情況），會(huì)影響 HDFS IO 效率。具體而言： 網(wǎng)絡(luò)時(shí)延很高，相對(duì)于本地訪問(wèn)，...
-
Observer NN性能測(cè)試結(jié)果及部署注意事項(xiàng)
背景 Observer NameNode 可以處理客戶(hù)端的讀請(qǐng)求，以此來(lái)分擔(dān) Active NameNode 的壓力，從而整體上提升 NameNode 的處理能力，具體能提升...
-
Ozone 介紹Ozone 是什么 一句話(huà)介紹：Ozone 是一個(gè)分布式對(duì)象存儲(chǔ)系統(tǒng)，從屬于 Hadoop 生態(tài)，支持海量數(shù)據(jù)存儲(chǔ)，具有良好的擴(kuò)展性。 為什么需要 Ozone Hadoop ...
-
RangerHDFS 部署流程
依賴(lài) 依賴(lài)項(xiàng)作用備注MySQLRangerAdmin 用來(lái)存儲(chǔ)規(guī)則等數(shù)據(jù)需要在 RangerAdmin 上部署，RangerAdmin 可以選擇 MySQL、PgSql 和 ...
-
在 HDFS 中使用 Ranger介紹 Apache Ranger 提供一個(gè)集中式安全管理框架來(lái)解決授權(quán)和審計(jì)問(wèn)題，它可以對(duì) Hadoop 生態(tài)的組件如 HDFS、Yarn、Hive、Hbase 等進(jìn)行細(xì)粒度...
-
使用 FairCallQueue 提升 NameNode RPC 服務(wù)質(zhì)量問(wèn)題描述 HDFS 集群中，有時(shí)會(huì)因?yàn)?NameNode 的超負(fù)荷運(yùn)行，導(dǎo)致部分用戶(hù)的請(qǐng)求響應(yīng)緩慢，甚至得不到響應(yīng)。 原因分析 這種阻塞情況是由于 Hadoop 的初始設(shè)計(jì)造...
-
HDFS 機(jī)架解析的一個(gè)優(yōu)化
現(xiàn)狀 NameNode 通過(guò)調(diào)用機(jī)架解析腳本解析一個(gè) node，并緩存結(jié)果。在某些情況下（例如 NN 剛切主之后），NN 的機(jī)架解析操作會(huì)非常頻繁，會(huì)持續(xù)性地同時(shí)拉起幾十個(gè)機(jī)...
-
Ganglia 部署文檔概述 Ganglia 是 Hadoop 默認(rèn)使用的監(jiān)控系統(tǒng)（Ganglia 官網(wǎng)[http://ganglia.info/])，功能強(qiáng)大，單臺(tái)機(jī)器即可持續(xù)監(jiān)控?cái)?shù)百個(gè) Name...
-
一個(gè) Ganglia 不可用問(wèn)題的定位問(wèn)題背景 在使用 Ganglia 的過(guò)程中，發(fā)現(xiàn)以下錯(cuò)誤：ganglia 監(jiān)控進(jìn)程頻繁報(bào)出下面的錯(cuò)誤，導(dǎo)致現(xiàn)網(wǎng)幾乎所有 NN 監(jiān)控都不可用，嚴(yán)重影響問(wèn)題定位： 這個(gè)錯(cuò)誤的意思...
-
HDFS NameNode BlockReportLease 問(wèn)題
概述 HDFS 在 HDFS-7923 中，引入了 block report lease 這個(gè)新的特性，目標(biāo)是避免集群中 DN 集中進(jìn)行全量 block report，從而導(dǎo)...
-
使用 NameNode RPC 退避機(jī)制改善服務(wù)質(zhì)量問(wèn)題描述 HDFS 集群中，有時(shí)會(huì)因?yàn)?NameNode 的超負(fù)荷運(yùn)行（一般是有異常任務(wù)大量訪問(wèn) NN），導(dǎo)致其它客戶(hù)端無(wú)法和 NameNode 創(chuàng)建 TCP 連接，最終導(dǎo)致...
-
HDFS客戶(hù)端無(wú)法及時(shí)addBlock和關(guān)閉文件問(wèn)題分析背景 現(xiàn)網(wǎng)運(yùn)行過(guò)程中，某些高負(fù)載集群的 NN 頻繁打印下面的 “block is COMMITTED but not COMPLETE" 日志，且客戶(hù)端經(jīng)常會(huì)關(guān)閉文件失敗，導(dǎo)...