控制復(fù)雜性是計(jì)算機(jī)編程的本質(zhì)。-- Brian Kernigan Scala繼承體系結(jié)構(gòu)設(shè)計(jì)非常巧妙，它沒有特殊地對(duì)待「基本數(shù)據(jù)類型」，將萬物視為對(duì)象。此外，Scala在頂層...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Scala繼承體系結(jié)構(gòu) -
Spark中CartesianRDD依賴關(guān)系的特殊之處前言 RDD之間的依賴關(guān)系一般分為兩種，寬依賴和窄依賴。 在網(wǎng)上好多博客中是這樣描述寬依賴和窄依賴的特點(diǎn) 窄依賴每個(gè)父RDD的一個(gè)Partition最多被子RDD的一個(gè)Par...
-
[spark] TaskScheduler 任務(wù)提交與調(diào)度源碼解析
在DAGScheduler劃分為Stage并以TaskSet的形式提交給TaskScheduler后，再由TaskScheduler通過TaskSetMagager對(duì)task...
-
[SPARK][CORE] 面試問題之 Shuffle reader 的細(xì)枝末節(jié) （上）歡迎關(guān)注微信公眾號(hào)“Tim在路上”之前我們已經(jīng)了解了shuffle writer的詳細(xì)過程，那么生成文件后會(huì)發(fā)生什么呢？以及它們是如何被讀取呢？讀取是內(nèi)存的操作嗎？這些問題也...
-
Spark RDD上的map operators是如何pipeline起來的？最近在工作討論中，同事提出了這么一個(gè)問題：作用在一個(gè)RDD/DataFrame上的連續(xù)的多個(gè)map是在對(duì)數(shù)據(jù)的一次循環(huán)遍歷中完成的還是需要多次循環(huán)？ 當(dāng)時(shí)我很自然地回答說：不...
-
談?wù)勑枨蟮拿枋?用例（Use Case）概要 用例（Use Case）是一種描述系統(tǒng)需求的方法。運(yùn)用用例這種方法來描述系統(tǒng)需求稱之為用例建模。用例也是UML規(guī)范中的一種標(biāo)準(zhǔn)化的需求表達(dá)方式，其中比較有名的RUP（R...
-
Scala各種常見的符號(hào)小結(jié)
:::運(yùn)算符：三個(gè)冒號(hào)表示List的連接操作，比如： val a = List(1,2) val b = List(3,4) val c = a:::b //c=List(1...
-
Parquet列式存儲(chǔ)格式詳解，下推和壓縮性能測(cè)試摘要：列式存儲(chǔ)，Parquet Parquet概述 Apache Parquet是面向分析型業(yè)務(wù)的列式存儲(chǔ)格式，由Twitter和Cloudera合作開發(fā)，Parquet是一...
-
Spark Thrift Server 架構(gòu)和原理介紹
也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850 一、Spark Thrift S...
個(gè)人介紹
如果看到文章有資料比如那些課程的ppt，編程作業(yè)等）需要的話，可以私信我，雖然可能不是很及時(shí)，但是還是很樂意伸出援手。