分為兩種1.靜態(tài)內(nèi)存管理2.統(tǒng)一內(nèi)存管理一.靜態(tài)內(nèi)存管理 首先定義內(nèi)存的大小為3G（--executor-memory 3G）定義完成后，靜態(tài)的內(nèi)存管理，管理的內(nèi)存分為三大部...
發(fā)簡信
IP屬地：廣東
-
Spark中Executor內(nèi)存中管理機制 -
Spark shuffle中 reduce task是怎么拉取數(shù)據(jù)的？1.map task 執(zhí)行完畢后會將計算狀態(tài)以及磁盤小文件位置等信息分裝到mapStatue對象中，然后由本進程中的MapOutPutTrackerWorker對象將mapS...
-
Spark shuffle一.reduceByKey的含義reduceByKey會將上一個RDD中的每一個key對應的所有value聚合成一個value，然后生成一個新的RDD，元素類型是<key,v...
-
Spark中sortByKey是如何進行全局排序的首先有一個問題有一臺服務器:24core 128G內(nèi)存，要處理一個1T的數(shù)據(jù)怎么辦？ 要采用拆分策略，將1T的數(shù)據(jù)拆分成128G大小的塊進入服務器計算。1T數(shù)據(jù)拆分成了8個塊...
-
統(tǒng)計一下每一個月份中，溫度最高top2
思路首先按照月份來分組，對組內(nèi)的數(shù)據(jù)按照溫度來排序取溫度最高的前兩名，然后分組取RDD代碼 關于serialVersionUIDserialVersionUID適用于Java...
-
根據(jù)溫度排序，溫度相同按照濕度排序
原始數(shù)據(jù) 思路：1.將數(shù)據(jù)讀取到RDD1中2.將RDD1中的數(shù)據(jù)轉(zhuǎn)換成K-V格式的RDD23.對RDD2使用sortByKey排序代碼 其中SortObj用來尋找溫度相同的元...
-
map 和 mapPartitions
map:遍歷算子，可以遍歷RDD中每一個元素，遍歷的單位是每條記錄 mapPartitions遍歷算子，可以改變RDD格式，會提高RDD并行度，遍歷單位是partition，...
-
reduceByKey和countByKey區(qū)別
相同點： 兩者都會根據(jù)key來分組 不同點：reduceByKey會根據(jù)用戶傳入的聚合邏輯對數(shù)組內(nèi)的數(shù)據(jù)進行聚合，countByKey不需要用戶傳入聚合邏輯，他是直接對數(shù)組內(nèi)...
-
repartition 和 coalesce算子coalesce（number，bool）第一個參數(shù)是將RDD劃分成幾個partition 第二個算子是確定是否發(fā)生shuffle，true指的是發(fā)生shuffle，fals...
-
粗粒度資源調(diào)度和細粒度資源調(diào)度
一.粗粒度資源調(diào)度：典型：Spark 在Application執(zhí)行之前，會將所有的資源(Executor)申請完畢，直接資源申請完畢后，才會進行任務調(diào)度，直到最后一個task...
-
提交Application的兩種方式
一.提交Application的兩種方式分別是client方式和cluster方式1.client方式這種方式，Driver進程是在client端啟動啟動代碼樣例 2.clu...
-
Spark中的共享變量---廣播變量和累加器
一.廣播變量和累加器的作用累加器（集群規(guī)模之間的大變量）：做Spark的全局統(tǒng)計使用廣播變量（集群規(guī)模間的大常量）：在每一臺機器上緩存一個只讀的變量，而不是每個任務一份拷貝。...
-
Spark集群術語&Pipeline計算模式1.Master(standalone)：資源管理的主節(jié)點（進程）管理Worker2.Cluster Manager：在集群上獲取資源的外部服務（例如：standalone ...
-
RDD依賴關系---寬依賴窄依賴依賴關系可以方便任務調(diào)度 窄依賴：對RDD執(zhí)行操作后，父RDD和子RDD對應關系的一對一或多對一（多對一只是一個邏輯上的說法，兩個合并為一個既沒有數(shù)據(jù)的傳輸也沒有發(fā)生shuf...
-
Spark執(zhí)行流程1.當執(zhí)行“spark -submit --master spark......”這個命令之后，在客戶端中啟動一個Driver進程。2.在FTP服務器上就會產(chǎn)生這個進程的ja...
-
Spark集群不使用客戶端會出現(xiàn)的問題，以及配置客戶端要注意的問題通過Master節(jié)點提交的Application到Spark集群中運行。如果以后頻繁地使用Master節(jié)點來提交Application，那么會導致Master節(jié)點的性能與其它...