構(gòu)建一個由Master + Slave 構(gòu)成的 Spark 集群，Spark 運行在集群中。
這個要和Hadoop 中的 Standalone 區(qū)別開來. 這里的 Standalone 是指只用 Spark 來搭建一個集群, 不需要借助其他的框架.是相對于 Yarn 和 Mesos 來說的.
進入Spark/conf配置文件目錄下，配置spark-evn.sh
cd?conf/?
mv?spark-env.sh.template spark-env.sh
1. 在spark-env.sh文件中配置如下內(nèi)容:
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077#默認端口就是7077, 可以省略不配
2. 修改slaves文件, 添加 worker 節(jié)點
mv?slaves.template slaves
3. 在slaves文件中配置如下內(nèi)容:
hadoop103
hadoop104
4. sbin/spark-config.sh中添加入JAVA_HOME
vi?spark-config.sh
export JAVA_HOME=/opt/module/jdk8
5. 分發(fā)?spark-standalone
scp -r /opt/module/spark?hadoop103:/opt/module/
scp -r /opt/module/spark?hadoop104:/opt/module/
scp /etc/profile root@hadoop103:/etc
scp /etc/profile root@hadoop104:/etc source?
/etc/profile 刷新配置
6. 啟動Spark集群
sbin/start-all.sh
7.使用jps查看，或者在網(wǎng)頁中查看Spark集群情況
