錯(cuò)誤1: 進(jìn)入 dashboardv2 目錄然后執(zhí)行
還是不行
shell調(diào)用beeline導(dǎo)致nohup后臺(tái)進(jìn)程stoppednohup啟動(dòng)java進(jìn)程調(diào)用shell執(zhí)行beeline命令導(dǎo)致nohup進(jìn)程stopped,java進(jìn)程消失了。 環(huán)境變量增加如下之后解決。 export HADOOP_...
一、地址和端口問題 spark官網(wǎng)[http://spark.apache.org/docs/latest/monitoring.html] 說默認(rèn)端口是 4040,使用sp...
這圖是講解 volatile 使變量對(duì)所有線程可見的實(shí)現(xiàn)原理。在此圖中的工作內(nèi)存就是CPU的高速緩存(一級(jí)或二級(jí))
20-kafka生產(chǎn)環(huán)境搭建之核心參數(shù)詳解 borker.id log.dirs:日志存儲(chǔ)目錄(可以多個(gè)目錄,使用逗號(hào)分隔,可以多磁盤提高效率) zookeeper.conn...
[TOC] 12-kafka生產(chǎn)環(huán)境搭建之需求場景分析 評(píng)估afka集群(其他集群評(píng)估方法類似) 13-kafka生產(chǎn)環(huán)境搭建之物理機(jī)數(shù)量的評(píng)估 評(píng)估Kafka集群需要多少物...
4. 申請(qǐng)block 下面我們應(yīng)該再去從dataQueue中讀取packet了。而從dataQueue讀取packet是Datastream線程,所以我們直接看它的run方法...
[TOC]在契約機(jī)制深度剖析那里,我們提到過兩個(gè)類,DFSOutputStream 和 DataStreamer 這兩個(gè)類是寫數(shù)據(jù)的核心類。我們先看看注釋: 1. DFSOu...
契約解釋 lease每創(chuàng)建一個(gè)文件后,會(huì)為每個(gè)文件創(chuàng)建一個(gè)契約 先引入一個(gè)小的背景,假如多個(gè)客戶端同時(shí)要并發(fā)的寫Hadoop HDFS上的一個(gè)文件,這個(gè)事兒能成嗎? 明顯不可...
每創(chuàng)建一個(gè)文件后,會(huì)為每個(gè)文件創(chuàng)建一個(gè)契約(lease) 先引入一個(gè)小的背景,假如多個(gè)客戶端同時(shí)要并發(fā)的寫Hadoop HDFS上的一個(gè)文件,這個(gè)事兒能成嗎? 明顯不可以接受...
創(chuàng)建文件流程源碼深度剖析[TOC] 1. 創(chuàng)建文件流程源碼深度剖析 跟蹤代碼 fileSystem.create(new Path("/data/hive/demo.txt"...
[TOC] Namenode 元數(shù)據(jù)管理源碼分析 本文講解 Namenode 元數(shù)據(jù)管理源碼分析,內(nèi)容包括HDFS目錄樹管理HDFS元數(shù)據(jù)雙緩存方案深度剖析HDFS元數(shù)據(jù)寫J...
Datanode 啟動(dòng)流程源碼分析 本文嘗試講解 Datanode 的啟動(dòng)流程源碼分析,內(nèi)容包括Datanode 類注釋Datanode 啟動(dòng)流程分析Datanode 注冊(cè)流...
本文繼續(xù) NameNode 啟動(dòng)流程源碼剖析,之前講解了Namenode 啟動(dòng)流程跟蹤Namenode Httpserver 啟動(dòng)流程跟蹤Namenode 元數(shù)據(jù)加載跟蹤這次...
本文嘗試講解 NameNode 啟動(dòng)流程源碼剖析,內(nèi)容包含Namenode 啟動(dòng)流程跟蹤Namenode Httpserver 啟動(dòng)流程跟蹤Namenode 元數(shù)據(jù)加載跟蹤閱...
本文使用一個(gè)簡單示例說明 Hadoop RPC的使用 1. RPC 定義 百度百科:RPC是遠(yuǎn)程過程調(diào)用(Remote Procedure Call)的縮寫形式。SAP系統(tǒng)R...
[TOC] 本文嘗試說明下面三個(gè)問題HDFS 如何實(shí)現(xiàn)有狀態(tài)的高可用架構(gòu)HDFS 如何解決單機(jī)內(nèi)存受限問題HDFS 支持億級(jí)流量的密碼SecondaryNameNode 作用...