發(fā)簡(jiǎn)信
IP屬地：天津
-
談?wù)凴DD、DataFrame、Dataset的區(qū)別和各自的優(yōu)勢(shì)
https://www.cnblogs.com/starwater/p/6841807.html
-
寫parquet文件遇到的問題
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操...
-
java程序中監(jiān)控內(nèi)存解決OutOfMemoryError: GC overhead limit exceeded最近linux跑scala程序，內(nèi)存占用較大時(shí)會(huì)出現(xiàn)gc錯(cuò)誤。目前程序上沒有可以優(yōu)化的部分，可能是jvm參數(shù)設(shè)置不當(dāng)，明天試試下面的方法。在程序...
-
nohup和&結(jié)合在后臺(tái)運(yùn)行進(jìn)程
nohup和&nohup command & 在后臺(tái)運(yùn)行conmmand,其中nohup運(yùn)行command的話，關(guān)閉shell仍然運(yùn)行，但是c...
-
Failed to get broadcast_10_piece0 of broadcast_10
spark-submit yarn-client提交任務(wù)時(shí)，出現(xiàn)如下錯(cuò)誤 原因：將sparkcontext定義在了object體內(nèi)，而不是obj...
-
Spark算子flatMap一對(duì)多生成數(shù)據(jù)，map一對(duì)一生成數(shù)據(jù)
Spark的map算子只能一對(duì)一生成數(shù)據(jù)，要想一對(duì)多生成，用flatMap。
-
使用map要謹(jǐn)慎
scala非RDD的數(shù)據(jù)結(jié)構(gòu)使用map形成的鍵值對(duì)，如果存在相同鍵的鍵值對(duì)，將會(huì)覆蓋，最終只保留一個(gè)。所以這種情況使用map生成鍵值對(duì)一定要謹(jǐn)慎...
-
spark中如何劃分stage（面試）
spark中如何劃分stage 窄依賴指父RDD的每一個(gè)分區(qū)最多被一個(gè)子RDD的分區(qū)所用，表現(xiàn)為 一個(gè)父RDD的分區(qū)對(duì)應(yīng)于一個(gè)子RDD的分區(qū)兩個(gè)...
-
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO輸出
https://blog.csdn.net/dabokele/article/details/52599768