spark報(bào)錯(cuò)

1、Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.


具體報(bào)錯(cuò)信息.png

解決方案：
使用命令：
spark-shell --master yarn --deploy-mode client

2、Caused by: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

part1.png
part2.png

原因：沒(méi)有關(guān)閉sc資源
解決：
sqlContext.sparkSession.close()
sc.stop()

詳細(xì)檢查寫(xiě)結(jié)束的位置，寫(xiě)在最后，解決問(wèn)題。低級(jí)失誤

多加了最后一行即解決.png
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀(guān)點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容