Spark的端口總結

Master節(jié)點的web端口是8080,work節(jié)點的web端口是8081

spark master web ui 默認端口為8080，當系統(tǒng)有其它程序也在使用該接口（比如:Tomcat）時，啟動master時也不會報錯，spark自己會改用其它端口，自動端口號加1,也可以自行設置,修改方法:

1、cd $SPARK_HOME/sbin

2、vi start-master.sh

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then

SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口號

fi

8080端口:master WEB端口

8081端口:work WEB端口

7077端口:

master通信端口

18080端口:spark歷史服務器端口

相關配置：

conf目錄下

cp spark-defaults.conf.template spark-defaults.conf

編輯spark-defaults.conf這個文件

編輯spark-env.sh文件

使用sbin/start-history-server.sh腳本啟動

啟動日志:

執(zhí)行spark任務

啟動日志：

Web界面

4040端口:

2.3? Spark當前執(zhí)行的任務頁面查看端口4040（例如：使用spark-shell啟動spark，此時的任務可以在4040端口頁面查看），如果任務結束了4040端口頁面不能訪問

默認是4040，我改配置改了下