spark源碼調(diào)試Debug環(huán)境搭建

運(yùn)行環(huán)境

java 1.8

scala 2.11.0

maven 3.3.9

idea 2016

spark 2.0.2

1完成以下配置

java環(huán)境變量

scala環(huán)境變量

maven setting配置文件jar包存放路徑

idea下載scala plugins語言插件

idea配置maven setting及jar包存放路徑

spark git :https://github.com/apache/spark.git

2編譯spark源碼

進(jìn)入目錄$spark_home

配置maven內(nèi)存大小，或者在maven配置文件中配置（$maven_home/bin/mvn）

exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

打包spark源碼

./build/mvn-Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

3 debug調(diào)試配置

1）加載所有jars

idea =>file => project structure=> libraries => add java =>$spark_home/assembly/target/scala-2.11/jars =>all project


2）debug配置

idea=>run =>run config =>


隨著git代碼更新到本地，打包代碼與debug代碼 不一致，把下面的 build 刪除即可。



3）打斷點(diǎn)

4）debug調(diào)試


下一篇簡述下Spark 的基礎(chǔ)算子RDD

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容