整理于【Spark面試2000題】Spark core面試篇03 ，梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲(chǔ)格式能帶來(lái)哪些好處？ 如果說(shuō)HDFS 是大數(shù)據(jù)時(shí)代分...
發(fā)簡(jiǎn)信
IP屬地：安徽
-
Spark--SparkCore面試知識(shí)點(diǎn)總結(jié)
-
數(shù)倉(cāng)--Hive-面試之Hive支持的文件格式和壓縮格式及各自特點(diǎn)
Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默認(rèn)格式，數(shù)據(jù)不壓縮，磁盤開(kāi)銷大、數(shù)據(jù)解析開(kāi)銷大。 對(duì)應(yīng)的hive API為：org.apache.hadoo...
-
50道SQL練習(xí)題及答案
網(wǎng)上流傳這這樣的50道練習(xí)題，以下是我的解法，僅供各位聯(lián)系和參考 數(shù)據(jù)表介紹 --1.學(xué)生表Student(SId,Sname,Sage,Ssex)--SId 學(xué)生編號(hào),Sn...
-
Scala操作HDFS
通過(guò)Scala對(duì)HDFS的一些操作，包括創(chuàng)建目錄，刪除目錄，上傳文件，文件讀取，刪除文件，Append文件等等； 測(cè)試代碼如下：
-
Spark寬依賴和窄依賴深度剖析RDD依賴關(guān)系與stage劃分 Spark中RDD的高效與DAG圖有著莫大的關(guān)系，在DAG調(diào)度中需要對(duì)計(jì)算過(guò)程劃分stage，而劃分依據(jù)就是RDD之間的依賴關(guān)系。 1. 窄...
-
Spark2.4.0 DAG（DAGScheduler）源碼分析
Spark的DAG(Directed Acyclic Graph)的生成實(shí)際上是Stage的劃分，而Stage的劃分依據(jù)是RDD的依賴關(guān)系。在程序提交后，Spark先將所有的...
-
Spark--數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜分為兩大類：聚合傾斜和join傾斜，針對(duì)不同的傾斜類型采用不同解決方案 數(shù)據(jù)傾斜解決方案上分為：緩解數(shù)據(jù)傾斜和徹底解決數(shù)據(jù)傾斜 1.數(shù)據(jù)傾斜表現(xiàn)形勢(shì) 導(dǎo)致數(shù)據(jù)傾斜的算...
