https://www.cnblogs.com/starwater/p/6841807.html
發(fā)簡信
IP屬地：天津
-
談?wù)凴DD、DataFrame、Dataset的區(qū)別和各自的優(yōu)勢
-
寫parquet文件遇到的問題
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操作系統(tǒng)不允許非法字符包含在文件...
-
java程序中監(jiān)控內(nèi)存解決OutOfMemoryError: GC overhead limit exceeded最近linux跑scala程序，內(nèi)存占用較大時會出現(xiàn)gc錯誤。目前程序上沒有可以優(yōu)化的部分，可能是jvm參數(shù)設(shè)置不當(dāng)，明天試試下面的方法。在程序中監(jiān)控一下freememory...
-
nohup和&結(jié)合在后臺運行進程
nohup和&nohup command & 在后臺運行conmmand,其中nohup運行command的話，關(guān)閉shell仍然運行，但是ctrl C進程就會消失。而&運...
-
Failed to get broadcast_10_piece0 of broadcast_10
spark-submit yarn-client提交任務(wù)時，出現(xiàn)如下錯誤 原因：將sparkcontext定義在了object體內(nèi)，而不是object的方法內(nèi)，這就導(dǎo)致方法在...
-
Spark算子flatMap一對多生成數(shù)據(jù)，map一對一生成數(shù)據(jù)
Spark的map算子只能一對一生成數(shù)據(jù)，要想一對多生成，用flatMap。
-
使用map要謹(jǐn)慎
scala非RDD的數(shù)據(jù)結(jié)構(gòu)使用map形成的鍵值對，如果存在相同鍵的鍵值對，將會覆蓋，最終只保留一個。所以這種情況使用map生成鍵值對一定要謹(jǐn)慎，和spark RDD的map...
-
spark中如何劃分stage（面試）
spark中如何劃分stage 窄依賴指父RDD的每一個分區(qū)最多被一個子RDD的分區(qū)所用，表現(xiàn)為 一個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)兩個父RDD的分區(qū)對應(yīng)于一個子RD...
-
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO輸出
https://blog.csdn.net/dabokele/article/details/52599768
-
Scala混用Java的集合類調(diào)用scala的foreach遍歷問題
問題描述：在Scala中調(diào)用Java語言寫的類，不能使用foreach來遍歷類中的List 解決方法：需要添加Scala與Java集合庫的隱式轉(zhuǎn)換。如下： 這時就能使用啦
-
Scala使用util.Arrays.asList()轉(zhuǎn)換數(shù)組為list的問題
目標(biāo)：在Scala中將一個Array[T1]類型的數(shù)組array轉(zhuǎn)換為List后，用于構(gòu)造類T2。其中T1和T2都是用Java寫的。 出現(xiàn)的問題：采用util.Arrays....