1,下載
spark-2.3.0-bin-hadoop2.7
hadoop-2.8.1/
2,配置
export JAVA_HOME=/usr/jdk1.8.0_171
export HADOOP_CONF_DIR=/usr/hadoop-2.8.1/etc/hadoop
export SPARK_HOME=/usr/spark-2.3.0-bin-hadoop2.7
#export SPARK_LOCAL_IP=192.168.0.104
#export SPARK_MASTER_IP=192.168.0.104
export SPARK_MASTER_IP=192.168.0.104
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G? ? #內(nèi)存設(shè)置根據(jù)自身調(diào)整,可以100m
export SPARK_WORKER_INSTANCES=1
export SPARK_LOCAL_IP=192.168.0.104
3, 重要
vim /etc/hostname
vim /etc/hosts
查看本地地址:
127.0.1.1 綁定的端口,是外部訪問不到的。
修改成0.0.0.0
4,測試
spark-shell
start-all.sh