簡(jiǎn)介 Spark是基于內(nèi)存計(jì)算的開源分布式大數(shù)據(jù)計(jì)算框架。為了更好、更快地開發(fā)Spark應(yīng)用程序，開發(fā)者不僅要掌握Spark的理論基礎(chǔ)和實(shí)現(xiàn)原理，更需要掌握Spark應(yīng)用程序...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark應(yīng)用程序調(diào)試方法詳解 -
博主寫得很棒，清晰易懂！
Spark DataFrame中rollup和cube使用
我們平時(shí)在做報(bào)表的時(shí)候，經(jīng)常會(huì)有各種分維度的匯總計(jì)算，在spark中我們最常用的就是groupBy操作，groupBy就是按照給定的字段名分組，后面接sum、count、av...
-
Spark DataFrame中rollup和cube使用
我們平時(shí)在做報(bào)表的時(shí)候，經(jīng)常會(huì)有各種分維度的匯總計(jì)算，在spark中我們最常用的就是groupBy操作，groupBy就是按照給定的字段名分組，后面接sum、count、av...
-
Scala 學(xué)習(xí)筆記
Scala 學(xué)習(xí)筆記 1.函數(shù)式編程 函數(shù)式編程：函數(shù)式編程把函數(shù)當(dāng)作一等公民，充分利用函數(shù)，支持函數(shù)的多種使用方式。在scala中，函數(shù)可以像變量一樣，既可以作為函數(shù)的參數(shù)...
-
Spark Repartition 使用
看到一些同學(xué)的Spark代碼中包含了很多repartition的操作，有一些不是很合理，非但沒有增加處理的效率，反而降低了性能。這里做一個(gè)介紹。 repartition 從字...
-
理解Spark中Job-Stage-Task之間的關(guān)系Spark-Job-Stage-Task之間的關(guān)系 基本概念 在開始之前需要先了解Spark中Application，Job，Stage等基本概念，官方給出的解釋如下表： J...
-
很贊！行文流暢很過癮
Fake data的使用和產(chǎn)生 - Python篇
什么是Fake data Fake data顧名思義假數(shù)據(jù)，是在真實(shí)產(chǎn)品數(shù)據(jù)無(wú)法使用的情況下，產(chǎn)生地接近于產(chǎn)品環(huán)境的數(shù)據(jù)，多用于開發(fā)和測(cè)試。 Fake data的使用場(chǎng)景 有...
-
Fake data的使用和產(chǎn)生 - Python篇
什么是Fake data Fake data顧名思義假數(shù)據(jù)，是在真實(shí)產(chǎn)品數(shù)據(jù)無(wú)法使用的情況下，產(chǎn)生地接近于產(chǎn)品環(huán)境的數(shù)據(jù)，多用于開發(fā)和測(cè)試。 Fake data的使用場(chǎng)景 有...
-
補(bǔ)充：一定要把 header 敲全，才會(huì)出現(xiàn)代碼片段”HEADER“的提示
vscode snippets配置python頭部注釋
首先點(diǎn)擊右下角的管理（齒輪形狀的），選擇其中的用戶代碼片段 選擇現(xiàn)有的python代碼片段python.json 然后添加以下內(nèi)容 使用方法：在代碼的頭部輸入header按回...
-
vscode snippets配置python頭部注釋首先點(diǎn)擊右下角的管理（齒輪形狀的），選擇其中的用戶代碼片段 選擇現(xiàn)有的python代碼片段python.json 然后添加以下內(nèi)容 使用方法：在代碼的頭部輸入header按回...
-
spark術(shù)語(yǔ)
術(shù)語(yǔ)定義 Application： Spark Application的概念和Hadoop MapReduce中的類似，指的是用戶編寫的Spark應(yīng)用程序，包含了一個(gè)Driv...
-
【二叉樹遍歷】leetcode -- 127 最大路徑和
資源匯總 鏈接[https://leetcode-cn.com/problems/binary-tree-maximum-path-sum/]畫二叉樹示意圖網(wǎng)站[http:/...
-
實(shí)現(xiàn)的代碼可讀性很高，贊????
python實(shí)現(xiàn)一個(gè)簡(jiǎn)易hashmap
python實(shí)現(xiàn)一個(gè)簡(jiǎn)易hashmap,不嚴(yán)謹(jǐn)、有問題之處請(qǐng)多多指出。。 近日把數(shù)據(jù)結(jié)構(gòu)翻出來看看，發(fā)現(xiàn)自己這方面的知識(shí)很欠缺，算是自己的記錄，也希望給正在學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)的老鐵...
-
2021-08-10 Alibaba筆試
題意是給定一個(gè)數(shù)字n，再給定一個(gè)數(shù)組arr，求arr的子序列和剛好等于n，多組輸入，能滿足則打印"Yes"，否則打印"No"輸入樣例： 輸出樣例： 筆試入迷了寫錯(cuò)循環(huán)條件，防...
