1、目錄、文件操作 pwd ( print working directory )查看當前所在路徑--絕對路徑 cd (change directory )切換目標 cd ....
發(fā)簡信
IP屬地：甘肅
-
git Bash 命令行大全
-
Spark遠程調(diào)試
start-all.sh -> start-master.sh -> start-slaves.sh 1.Master啟動的腳本start-master.sh -> spa...
-
Hadoop重新格式化HDFS的方法
一、記一次“不合格”的方法 這種方法也是網(wǎng)上參考博客得來的，一開始就覺得有問題，后來真的發(fā)現(xiàn)了問題。 首先停止已經(jīng)啟動的hadoop： 然后查看hadoop配置文件hdfs-...
-
為VMware虛擬機內(nèi)安裝的Ubuntu 16.04設置靜態(tài)IP地址1.安裝環(huán)境 VMware 10.0.4 build-2249910 Ubuntu 16.04 x86_64 2.在VMware中，配置網(wǎng)絡環(huán)境 VMware在默認安裝完成之...
-
Spark Core源碼精讀計劃#5：事件總線及ListenerBus目錄 前言 Spark事件總線概述 ListenerBus特征addListener()與removeListener()方法doPostEvent()方法postToAll...
-
一張圖讀懂非公平鎖與公平鎖在Java并發(fā)編程中，公平鎖與非公平鎖是很常見的概念，ReentrantLock、ReadWriteLock默認都是非公平模式，非公平鎖的效率為何高于公平鎖呢？究竟公平與非公...
-
Spark延遲任務調(diào)度-實例分析
最近在看Spark任務調(diào)度，尤其是延遲調(diào)度這塊，翻了好多資料與博客都是發(fā)現(xiàn)延遲調(diào)度中是這樣介紹的：“在為任務分配節(jié)點時（executor），先判斷任務的最佳運行節(jié)點是否空閑，...
-
Spark shuffle中 reduce task是怎么拉取數(shù)據(jù)的？1.map task 執(zhí)行完畢后會將計算狀態(tài)以及磁盤小文件位置等信息分裝到mapStatue對象中，然后由本進程中的MapOutPutTrackerWorker對象將mapS...
-
Spark Core源碼精讀計劃#14：Spark Web UI界面的實現(xiàn)目錄 前言 創(chuàng)建SparkUISparkContext中的操作初始化SparkUI WebUI的具體實現(xiàn)屬性成員和Getter方法WebUI提供的attach/detach類...
