MAC Spark安裝和環(huán)境變量設(shè)置

本文使用的是Spark和python結(jié)合Spark的API組件pyspark
安裝Spark之前確保已有JDK環(huán)境和python環(huán)境(本文為JDK1.8.0_60和python3.6.5)

Spark安裝

1.官網(wǎng)下載spark
本文下載版本是spark-2.3.0-bin-hadoop2.7.tgz
2.安裝spark到/usr/local/
terminal中定位到spark-2.3.0-bin-hadoop2.7.tgz目錄，移動spark-2.3.0-bin-hadoop2.7.tgz到/usr/local

rm spark-2.3.0-bin-hadoop2.7.tgz /usr/local

解壓縮spark-2.3.0-bin-hadoop2.7.tgz

tar -zvxf spark-2.3.0-bin-hadoop2.7.tgz(若要改名，再添加一個變量為你想改動的名字,本文未改動)

3.安裝pyspark(本文使用python3，且mac自帶python 2.7)

pip3 install pyspark

4.設(shè)置環(huán)境變量
打開～/.bash_profile

vim ~/.bash_profile

添加

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

使環(huán)境變量生效

source ~/.bash_profile

5.在terminal中輸入

pyspark

就會出現(xiàn)如下界面了


pyspark交互界面

此時，Spark和pyspark都安裝好了

結(jié)合Jupyter使用和python版本的沖突請戳此處

轉(zhuǎn)載請注明出處

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容