Spark的端口总结
Master节点的web端口是8080,work节点的web端口是8081
spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法:
1、cd $SPARK_HOME/sbin
2、vi start-master.sh
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口号
fi
8080端口:master WEB端口
8081端口:work WEB端口
7077端口:
master通信端口
18080端口:spark历史服务器端口
相关配置：
conf目录下
cp spark-defaults.conf.template spark-defaults.conf
编辑spark-defaults.conf这个文件
编辑spark-env.sh文件
使用sbin/start-history-server.sh脚本启动
启动日志:
执行spark任务
启动日志：
Web界面
4040端口:
2.3 Spark当前执行的任务页面查看端口4040（例如：使用spark-shell启动spark，此时的任务可以在4040端口页面查看），如果任务结束了4040端口页面不能访问
默认是4040，我改配置改了下
