1,下载
spark-2.3.0-bin-hadoop2.7
hadoop-2.8.1/
2,配置
export JAVA_HOME=/usr/jdk1.8.0_171
export HADOOP_CONF_DIR=/usr/hadoop-2.8.1/etc/hadoop
export SPARK_HOME=/usr/spark-2.3.0-bin-hadoop2.7
#export SPARK_LOCAL_IP=192.168.0.104
#export SPARK_MASTER_IP=192.168.0.104
export SPARK_MASTER_IP=192.168.0.104
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G #内存设置根据自身调整,可以100m
export SPARK_WORKER_INSTANCES=1
export SPARK_LOCAL_IP=192.168.0.104
3, 重要
vim /etc/hostname
vim /etc/hosts
查看本地地址:
127.0.1.1 绑定的端口,是外部访问不到的。
修改成0.0.0.0
4,测试
spark-shell
start-all.sh