控制復(fù)雜性是計(jì)算機(jī)編程的本質(zhì)。-- Brian Kernigan Scala繼承體系結(jié)構(gòu)設(shè)計(jì)非常巧妙，它沒有特殊地對待「基本數(shù)據(jù)類型」，將萬物視為對象。此外，Scala在頂層...
發(fā)簡信
IP屬地：廣東
-
Scala繼承體系結(jié)構(gòu) -
我覺得總結(jié)的不是很嚴(yán)謹(jǐn)，應(yīng)該說寬依賴一般多對多的情況，除了笛卡爾積
Spark中CartesianRDD依賴關(guān)系的特殊之處
前言 RDD之間的依賴關(guān)系一般分為兩種，寬依賴和窄依賴。 在網(wǎng)上好多博客中是這樣描述寬依賴和窄依賴的特點(diǎn) 窄依賴每個(gè)父RDD的一個(gè)Partition最多被子RDD的一個(gè)Par...
-
Spark中CartesianRDD依賴關(guān)系的特殊之處前言 RDD之間的依賴關(guān)系一般分為兩種，寬依賴和窄依賴。 在網(wǎng)上好多博客中是這樣描述寬依賴和窄依賴的特點(diǎn) 窄依賴每個(gè)父RDD的一個(gè)Partition最多被子RDD的一個(gè)Par...
-
成都加米谷大數(shù)據(jù)學(xué)院，大數(shù)據(jù)人才培養(yǎng)，大數(shù)據(jù)行業(yè)動態(tài)分享！
-
[spark] TaskScheduler 任務(wù)提交與調(diào)度源碼解析
在DAGScheduler劃分為Stage并以TaskSet的形式提交給TaskScheduler后，再由TaskScheduler通過TaskSetMagager對task...
-
[SPARK][CORE] 面試問題之 Shuffle reader 的細(xì)枝末節(jié) （上）歡迎關(guān)注微信公眾號“Tim在路上”之前我們已經(jīng)了解了shuffle writer的詳細(xì)過程，那么生成文件后會發(fā)生什么呢？以及它們是如何被讀取呢？讀取是內(nèi)存的操作嗎？這些問題也...
-
executor 數(shù)量 = spark.cores.max/spark.executor.cores
Spark executor中task的數(shù)量與最大并發(fā)數(shù)
關(guān)于executor和task的概念可以參考官方文檔本文使用的源碼是spark 2.0.0版本 Task的數(shù)量 根據(jù)類DAGScheduler中的submitMissingT...
-
Spark RDD上的map operators是如何pipeline起來的？最近在工作討論中，同事提出了這么一個(gè)問題：作用在一個(gè)RDD/DataFrame上的連續(xù)的多個(gè)map是在對數(shù)據(jù)的一次循環(huán)遍歷中完成的還是需要多次循環(huán)？ 當(dāng)時(shí)我很自然地回答說：不...
-
所以為什么廣播失敗找到原因了嗎？
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序，總會出現(xiàn)部分Executor上請求broadcast不成功的錯(cuò)誤，鑒于此，我專門走讀了一下broadcast的相關(guān)代碼...
-
談?wù)勑枨蟮拿枋?用例（Use Case）概要 用例（Use Case）是一種描述系統(tǒng)需求的方法。運(yùn)用用例這種方法來描述系統(tǒng)需求稱之為用例建模。用例也是UML規(guī)范中的一種標(biāo)準(zhǔn)化的需求表達(dá)方式，其中比較有名的RUP（R...
-
Scala各種常見的符號小結(jié)
:::運(yùn)算符：三個(gè)冒號表示List的連接操作，比如： val a = List(1,2) val b = List(3,4) val c = a:::b //c=List(1...
-
Parquet列式存儲格式詳解，下推和壓縮性能測試摘要：列式存儲，Parquet Parquet概述 Apache Parquet是面向分析型業(yè)務(wù)的列式存儲格式，由Twitter和Cloudera合作開發(fā)，Parquet是一...
-
Spark Thrift Server 架構(gòu)和原理介紹
也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850 一、Spark Thrift S...
-
loadClass（）、findClass（）、defineClass（）區(qū)別
loadClass() findLoadedClass(String) 調(diào)用這個(gè)方法，查看這個(gè)Class是否已經(jīng)別加載 如果沒有被加載，繼續(xù)往下走，查看父類加載器，遞歸調(diào)用l...
-
-
SynchronousQueue使用實(shí)例
序 本文主要講一下SynchronousQueue。 定義 SynchronousQueue，實(shí)際上它不是一個(gè)真正的隊(duì)列，因?yàn)樗粫殛?duì)列中元素維護(hù)存儲空間。與其他隊(duì)列不同的...
個(gè)人介紹
如果看到文章有資料比如那些課程的ppt，編程作業(yè)等）需要的話，可以私信我，雖然可能不是很及時(shí)，但是還是很樂意伸出援手。