24篇文章 · 36115字 · 7人關(guān)注
-
Spark--Spark RDD與Dataframe/Datasets對(duì)比學(xué)習(xí)RDD知識(shí)點(diǎn)總結(jié) 五大特性，寬窄依賴等詳見連接：http://www.itdecent.cn/p/592b985c443c Spark--...
-
Spark--Spark多維分析cube/rollup/grouping sets/group by
概念簡(jiǎn)述 group by:主要用來(lái)對(duì)查詢的結(jié)果進(jìn)行分組，相同組合的分組條件在結(jié)果集中只顯示一行記錄?？梢蕴砑泳酆虾瘮?shù)。 grouping se...
-
Spark--Spark寬窄依賴的理解
寬窄依賴概念 窄依賴是指父RDD的每個(gè)分區(qū)只被子RDD的一個(gè)分區(qū)所使用，子RDD分區(qū)通常對(duì)應(yīng)常數(shù)個(gè)父RDD分區(qū)(O(1)，與數(shù)據(jù)規(guī)模無(wú)關(guān)) 寬依...
-
Spark--SparkCore面試知識(shí)點(diǎn)總結(jié)
整理于【Spark面試2000題】Spark core面試篇03 ，梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處？ ...
-
Spark--Spark Shuffle細(xì)節(jié)掌握(面試類)問題
Spark Shuffle Read階段是如何讀取數(shù)據(jù)的 Reduce去拉取Map的輸出數(shù)據(jù)，Spark提供了兩套不同的拉取數(shù)據(jù)框架：通過soc...
-
Spark--為什么Spark Application在沒有獲得足夠的資源，job就開始執(zhí)行了，可能會(huì)導(dǎo)致什么什么問題發(fā)生?
會(huì)導(dǎo)致執(zhí)行該job時(shí)候集群資源不足，導(dǎo)致執(zhí)行job結(jié)束也沒有分配足夠的資源，分配了部分Executor，該job就開始執(zhí)行task，應(yīng)該是tas...
-
Spark--spark工作模式詳解(local/standalone/yarn)Spark 運(yùn)行模式分類 本地模式； standalone模式； spark on yarn 模式，又分未yarn-client和yarn-cl...
-
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問鏈接中原...
-
Spark--聚合性數(shù)據(jù)傾斜解決方案實(shí)例說明數(shù)據(jù)傾斜產(chǎn)生背景 數(shù)據(jù)傾斜表現(xiàn)形勢(shì)和網(wǎng)上流傳不大一樣，歡迎批評(píng)指正--李小李 在開發(fā)DMP平臺(tái)過程中，有一個(gè)標(biāo)簽體系時(shí)地理位置標(biāo)簽，需要根據(jù)IP...
