pycharm 連接遠(yuǎn)端spark 進(jìn)行調(diào)試

在使用python進(jìn)行spark進(jìn)行開發(fā)時(shí)，本地調(diào)試總是很麻煩的一件事。如果有辦法直接在服務(wù)器進(jìn)行調(diào)試的話，那將非常方便我們的開發(fā)。那有沒有呢？還真別說，借助pycharm 強(qiáng)大的開發(fā)能力，是完全可以實(shí)現(xiàn)的。那么我們就一步一步來進(jìn)行配置:

1、pycharm 連接ssh 將代碼同步到服務(wù)器：

1）點(diǎn)擊tool->Deployment->Configuration


Configuration

2)點(diǎn)擊+進(jìn)行新增


connetct

填寫mapping

mapping

點(diǎn)擊ok后進(jìn)行保存。保存成功后，就可以將文件同步到服務(wù)器對(duì)應(yīng)的位置。


upload

2、配置環(huán)境變量

1）點(diǎn)擊 run->edit Configurations

?Configurations

2)點(diǎn)擊+進(jìn)行新增

environment

環(huán)境變量值有：以下根據(jù)自己實(shí)際的情況進(jìn)行填寫

PYSPARK_HOME=/usr/loacl/bin/python3.7

PYSPARK_DRIVER_HOME=/usr/loacl/bin/python3.7

HADOOP_HOME=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop/

JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/

SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/spark/

3、配置python_interpreter

點(diǎn)擊settling ->project interpreter->設(shè)置-》新增

setting

選擇ssh interpretev

ssh


finish

點(diǎn)擊finish保存

完成以上三步 即可以完成對(duì)遠(yuǎn)端服務(wù)器spark進(jìn)行調(diào)試。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 此時(shí)的我，或許是年少輕狂。世界太大，我還??；你很遠(yuǎn)，我還太慢，我的步伐，趕不上你的節(jié)奏。 世界如此有趣...
    爺患上了白學(xué)病閱讀 158評(píng)論 0贊 1
  • 其中一句特別喜歡“愿我如星君如月，夜夜流光相皎潔。” 車遙遙，馬憧憧。 君游東山東復(fù)東，安得奮飛逐西風(fēng)。 ...
    當(dāng)過閱讀 407評(píng)論 0贊 1
  • 里約，沒有什么不可能。最近最大的新聞主要還是奧運(yùn)會(huì)，當(dāng)然還有娛樂圈那些破事兒?？戳丝戳藥滋斓谋荣?。不說感慨良多，在...
    花妖呀閱讀 479評(píng)論 2贊 6
  • 孤獨(dú)并不可怕，可怕的不過是沒有人能理解自己的孤獨(dú)…… 面對(duì)孤獨(dú)每個(gè)人的對(duì)待方式不同，所以才會(huì)有了各種各樣的鮮活的孤...
    何許丹張閱讀 414評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容