1. 安裝JDK1.8
有些系統(tǒng)默認(rèn)安裝openjdk, 先卸載之，安裝標(biāo)準(zhǔn)的JDK1.8 ，使用該命令查看 openjdk的 安裝路徑, 查出安裝名稱
rpm -qa | grep jdk
用該命令卸載：
rpm -e –nodeps xxxxxx
用例：
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
上傳jdk安裝包到規(guī)劃的路徑，路徑為 /home/ysops/java
解壓包
tar -zxvf jdk-8u161-linux-x64.tar.gz
在非root用戶下安裝jdk, 在當(dāng)前用戶目錄下：
vi .bash_profile
復(fù)制如下內(nèi)容：
export JAVA_HOME=/home/ysops/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=${JAVA_HOME}/jre
退出 vi 編輯器， 執(zhí)行
source .bash_profile
Java -version 出版本信息，安裝ok
2. 安裝spark
服務(wù)器規(guī)劃：
| IP | 路由服務(wù)端口 |
|---|---|
| 10.213.50.94 | cnsz72vl0237 |
| 10.213.50.95 | cnsz72vl0238 |
| 10.213.50.96 | cnsz72vl0239 |
將安裝包上傳到指定服務(wù)器目錄, 該目錄統(tǒng)一放置spark的所有環(huán)境搭建:
/home/ysops/spark/
這里使用的是 spark-3.0.0-bin-hadoop2.7.tgz 這個(gè)安裝包
解壓命令： tar -zxvf 壓縮包名
tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz
此時(shí)解壓完成生成spark組件文件夾
- standalone模式
Spark自帶的一個(gè)簡(jiǎn)單的集群模式，典型的Master/slave模式，與MapReduce1.0框架類似，Spark框架本身也自帶了完整的資源調(diào)度管理服務(wù)，可以獨(dú)立部署到一個(gè)集群中，而不需要依賴其他系統(tǒng)來(lái)為其提供資源管理調(diào)度服務(wù)
Spark master節(jié)點(diǎn)（主）：10.213.50.94
Spark slave：10.213.50.94, 10.213.50.95, 10.213.50.96
將解壓的文件重新命名為 spark-standalone
cp spark-3.0.0-bin-hadoop2.7 spark-standalone
3臺(tái)服務(wù)器都使用同樣的文件路徑釋放spark，每臺(tái)服務(wù)器都做同樣的配置，分別進(jìn)入conf目錄下：
釋放spark-env.sh 文件，并添加如下內(nèi)容：
export JAVA_HOME=/home/ysops/java/jdk1.8
SPARK_MASTER_HOST=cnsz72vl0237
SPARK_MASTER_PORT=7077
SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/ysops/spark/spark-standalone/external_jars/*
2.釋放slaves 文件，并添加如下內(nèi)容：
cnsz72vl0238
cnsz72vl0239
或者使用如下命令進(jìn)行文件分發(fā)：
scp -r ~/spark/spark-standalone ysops@10.213.50.95:~
scp -r ~/spark/spark-standalone ysops@10.213.50.96:~
3 在spark3.0.0的版本中，出于對(duì)安全風(fēng)險(xiǎn)的控制，默認(rèn)關(guān)閉了rest 模式，需要手動(dòng)開(kāi)啟配置，在master服務(wù)器的conf目錄下 spark-defaults.conf文件中設(shè)置下值：
spark.master.rest.enabled true
表示啟用rest url 。
在規(guī)劃的master 節(jié)點(diǎn)服務(wù)器上啟動(dòng) master 進(jìn)程，進(jìn)入到 sbin 目錄下 執(zhí)行 ./start-master.sh，
在規(guī)劃的slave節(jié)點(diǎn)服務(wù)器上啟動(dòng) slave進(jìn)程,( 10.213.50.94, 10.213.50.95, 10.213.50.96)
./start-slave.sh 10.213.50.94:7077
查看進(jìn)程使用 jps
截圖展示：
訪問(wèn)master服務(wù)器地址: http://10.213.50.94:8080/
發(fā)布一個(gè)應(yīng)用到spark集群:
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://10.213.50.94:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
examples/jars/spark-examples_2.12-3.0.0.jar \
10
