1、目錄、文件操作 pwd ( print working directory )查看當(dāng)前所在路徑--絕對(duì)路徑 cd (change directory )切換目標(biāo) cd ....
發(fā)簡(jiǎn)信
IP屬地：內(nèi)蒙古
-
git Bash 命令行大全
-
Spark遠(yuǎn)程調(diào)試
start-all.sh -> start-master.sh -> start-slaves.sh 1.Master啟動(dòng)的腳本start-master.sh -> spa...
-
Hadoop重新格式化HDFS的方法
一、記一次“不合格”的方法 這種方法也是網(wǎng)上參考博客得來(lái)的，一開(kāi)始就覺(jué)得有問(wèn)題，后來(lái)真的發(fā)現(xiàn)了問(wèn)題。 首先停止已經(jīng)啟動(dòng)的hadoop： 然后查看hadoop配置文件hdfs-...
-
為VMware虛擬機(jī)內(nèi)安裝的Ubuntu 16.04設(shè)置靜態(tài)IP地址1.安裝環(huán)境 VMware 10.0.4 build-2249910 Ubuntu 16.04 x86_64 2.在VMware中，配置網(wǎng)絡(luò)環(huán)境 VMware在默認(rèn)安裝完成之...
-
Spark Core源碼精讀計(jì)劃#5：事件總線及ListenerBus目錄 前言 Spark事件總線概述 ListenerBus特征addListener()與removeListener()方法doPostEvent()方法postToAll...
-
一張圖讀懂非公平鎖與公平鎖在Java并發(fā)編程中，公平鎖與非公平鎖是很常見(jiàn)的概念，ReentrantLock、ReadWriteLock默認(rèn)都是非公平模式，非公平鎖的效率為何高于公平鎖呢？究竟公平與非公...
-
Spark延遲任務(wù)調(diào)度-實(shí)例分析
最近在看Spark任務(wù)調(diào)度，尤其是延遲調(diào)度這塊，翻了好多資料與博客都是發(fā)現(xiàn)延遲調(diào)度中是這樣介紹的：“在為任務(wù)分配節(jié)點(diǎn)時(shí)（executor），先判斷任務(wù)的最佳運(yùn)行節(jié)點(diǎn)是否空閑，...
-
有結(jié)論了嗎請(qǐng)問(wèn)
Spark的位置優(yōu)先: TaskSetManager 的有效 Locality Levels
based on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages tag 上，我們可以看到這個(gè)的表...
-
此處猜想了一下，如果是Shuffle過(guò)程中的ReduceTask，則其輸入RDD的 PreferredLocations 是什么呢？ 其數(shù)據(jù)來(lái)自許多host，locality levels 該是什么呢？ 如果按照延遲調(diào)度中的說(shuō)法，NO_PREF沒(méi)有本地性偏好（maxLocality ！= TaskLocality.NO_PREF ），是不是ReduceTask所對(duì)應(yīng)的locality level 為NO_PREF? 不知道是否正確
-
-
Spark shuffle中 reduce task是怎么拉取數(shù)據(jù)的？1.map task 執(zhí)行完畢后會(huì)將計(jì)算狀態(tài)以及磁盤(pán)小文件位置等信息分裝到mapStatue對(duì)象中，然后由本進(jìn)程中的MapOutPutTrackerWorker對(duì)象將mapS...
-
Java開(kāi)發(fā)，不定期更新（沒(méi)啥事不會(huì)更新）。
-
Spark Core源碼精讀計(jì)劃#14：Spark Web UI界面的實(shí)現(xiàn)目錄 前言 創(chuàng)建SparkUISparkContext中的操作初始化SparkUI WebUI的具體實(shí)現(xiàn)屬性成員和Getter方法WebUI提供的attach/detach類(lèi)...
-
樓主，如果不指定分區(qū)，shuffle前和shuffle后的分區(qū)數(shù)量是不變的吧。
Java Spark 簡(jiǎn)單示例（七） RDD分區(qū) 分區(qū)劃分器
大數(shù)據(jù)學(xué)習(xí)交流微信群 更多RDD的信息參考：https://www.cnblogs.com/qingyunzong/p/8899715.html 分區(qū) 在Spark程序中，R...
-
機(jī)器學(xué)習(xí)----樸素貝葉斯算法淺析和spark MLlib實(shí)現(xiàn)文/michael 前言 最近研究下Machaine Learning，這篇文章作為開(kāi)始吧。 貝葉斯 貝葉斯（Bayes）算法是什么？ 我們?cè)诖髮W(xué)時(shí)都知道概率論吧，條件概率，...
-
程序員談求職系列之求內(nèi)推的正確姿勢(shì)
前言 大家好，我是光源。 我曾經(jīng)在學(xué)生時(shí)代各種找內(nèi)推（基本都得到了內(nèi)推），也在來(lái)到網(wǎng)易后各種被找內(nèi)推，所以對(duì)內(nèi)推的套路還是挺了解。 “求內(nèi)推”可是個(gè)技術(shù)活，你找準(zhǔn)姿勢(shì)了么？ ...
