CentOS6.8_Spark單機(jī)部署

首先需要JDK
下載安裝JDK
下載spark
wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz
創(chuàng)建安裝目錄
mkdir /software
移動(dòng)安裝文件到新建目錄
mv ./spark-1.6.3-bin-hadoop2.6.tgz /sortware/
切換目錄
cd /software
解壓
tar xzvf spark-1.6.3-bin-hadoop2.6.tgz
cd spark-1.6.3-bin-hadoop2.6.tgz
pwd
復(fù)制打印出來的地址
修改配置文件 conf/
mv spark-env.sh.template spark-env.sh

我們默認(rèn)安裝不用修改目錄

配置環(huán)境變量 vim /etc/profile
export SPARK_HOME=/software/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使環(huán)境變量生效

source /etc/profile

執(zhí)行測試
spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容