https://www.cnblogs.com/starwater/p/6841807.html
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操...
最近linux跑scala程序,內(nèi)存占用較大時(shí)會(huì)出現(xiàn)gc錯(cuò)誤。目前程序上沒有可以優(yōu)化的部分,可能是jvm參數(shù)設(shè)置不當(dāng),明天試試下面的方法。在程序...
nohup和&nohup command & 在后臺(tái)運(yùn)行conmmand,其中nohup運(yùn)行command的話,關(guān)閉shell仍然運(yùn)行,但是c...
spark-submit yarn-client提交任務(wù)時(shí),出現(xiàn)如下錯(cuò)誤 原因:將sparkcontext定義在了object體內(nèi),而不是obj...
Spark的map算子只能一對(duì)一生成數(shù)據(jù),要想一對(duì)多生成,用flatMap。
scala非RDD的數(shù)據(jù)結(jié)構(gòu)使用map形成的鍵值對(duì),如果存在相同鍵的鍵值對(duì),將會(huì)覆蓋,最終只保留一個(gè)。所以這種情況使用map生成鍵值對(duì)一定要謹(jǐn)慎...
spark中如何劃分stage 窄依賴指父RDD的每一個(gè)分區(qū)最多被一個(gè)子RDD的分區(qū)所用,表現(xiàn)為 一個(gè)父RDD的分區(qū)對(duì)應(yīng)于一個(gè)子RDD的分區(qū)兩個(gè)...
https://blog.csdn.net/dabokele/article/details/52599768