簡介 Spark是基于內(nèi)存計(jì)算的開源分布式大數(shù)據(jù)計(jì)算框架。為了更好、更快地開發(fā)Spark應(yīng)用程序，開發(fā)者不僅要掌握Spark的理論基礎(chǔ)和實(shí)現(xiàn)原理，更需要掌握Spark應(yīng)用程序...
發(fā)簡信
IP屬地：廣東
-
Spark應(yīng)用程序調(diào)試方法詳解 -
Spark DataFrame中rollup和cube使用
我們平時(shí)在做報(bào)表的時(shí)候，經(jīng)常會(huì)有各種分維度的匯總計(jì)算，在spark中我們最常用的就是groupBy操作，groupBy就是按照給定的字段名分組，后面接sum、count、av...
-
Scala 學(xué)習(xí)筆記
Scala 學(xué)習(xí)筆記 1.函數(shù)式編程 函數(shù)式編程：函數(shù)式編程把函數(shù)當(dāng)作一等公民，充分利用函數(shù)，支持函數(shù)的多種使用方式。在scala中，函數(shù)可以像變量一樣，既可以作為函數(shù)的參數(shù)...
-
Spark Repartition 使用
看到一些同學(xué)的Spark代碼中包含了很多repartition的操作，有一些不是很合理，非但沒有增加處理的效率，反而降低了性能。這里做一個(gè)介紹。 repartition 從字...
-
理解Spark中Job-Stage-Task之間的關(guān)系Spark-Job-Stage-Task之間的關(guān)系 基本概念 在開始之前需要先了解Spark中Application，Job，Stage等基本概念，官方給出的解釋如下表： J...
-
Fake data的使用和產(chǎn)生 - Python篇
什么是Fake data Fake data顧名思義假數(shù)據(jù)，是在真實(shí)產(chǎn)品數(shù)據(jù)無法使用的情況下，產(chǎn)生地接近于產(chǎn)品環(huán)境的數(shù)據(jù)，多用于開發(fā)和測(cè)試。 Fake data的使用場(chǎng)景 有...
-
vscode snippets配置python頭部注釋首先點(diǎn)擊右下角的管理（齒輪形狀的），選擇其中的用戶代碼片段 選擇現(xiàn)有的python代碼片段python.json 然后添加以下內(nèi)容 使用方法：在代碼的頭部輸入header按回...
