發(fā)簡信
IP屬地：天津
-
談談RDD、DataFrame、Dataset的區(qū)別和各自的優(yōu)勢
https://www.cnblogs.com/starwater/p/6841807.html
-
寫parquet文件遇到的問題
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操...
-
java程序中監(jiān)控內(nèi)存解決OutOfMemoryError: GC overhead limit exceeded最近linux跑scala程序，內(nèi)存占用較大時會出現(xiàn)gc錯誤。目前程序上沒有可以優(yōu)化的部分，可能是jvm參數(shù)設置不當，明天試試下面的方法。在程序...
-
nohup和&結(jié)合在后臺運行進程
nohup和&nohup command & 在后臺運行conmmand,其中nohup運行command的話，關(guān)閉shell仍然運行，但是c...
-
Failed to get broadcast_10_piece0 of broadcast_10
spark-submit yarn-client提交任務時，出現(xiàn)如下錯誤 原因：將sparkcontext定義在了object體內(nèi)，而不是obj...
-
Spark算子flatMap一對多生成數(shù)據(jù)，map一對一生成數(shù)據(jù)
Spark的map算子只能一對一生成數(shù)據(jù)，要想一對多生成，用flatMap。
-
使用map要謹慎
scala非RDD的數(shù)據(jù)結(jié)構(gòu)使用map形成的鍵值對，如果存在相同鍵的鍵值對，將會覆蓋，最終只保留一個。所以這種情況使用map生成鍵值對一定要謹慎...
-
spark中如何劃分stage（面試）
spark中如何劃分stage 窄依賴指父RDD的每一個分區(qū)最多被一個子RDD的分區(qū)所用，表現(xiàn)為 一個父RDD的分區(qū)對應于一個子RDD的分區(qū)兩個...
-
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO輸出
https://blog.csdn.net/dabokele/article/details/52599768