1.从spark官网下载spark安装程序
spark-2.2.1-bin-hadoop2.6.tgz
2. 解压
tar zxvf spark-2.2.1-bin-hadoop2.6.tgz
ln -s spark-2.2.1-bin-hadoop2.6 spark2
3、环境变量
vi /etc/profile
#Spark 2.0.1
export SPARK_HOME=/app/zpy/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
Source /etc/profile
4、配置文件
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/app/zpy/java/jdk1.8.0_51
export SPARK_MASTER_HOST=master主机名
SPARK_WORKER_CORES=15
SPARK_WORKER_MEMORY=32G
HADOOP_CONF_DIR=/app/zpy/hadoop/etc/hadoop #如果执行spark on yarn 必须设置这个
例如：spark-submit --class com.ism.asset.spark.AssetDaily --master yarn --deploy-mode client --name asset_daily --executor-memory 2g --driver-memory 2g /app/zpy/assessdaily/asset-daily.jar（--master yarn需要用到HADOOP_CONF_DIR）
cp slaves.template slaves
vi slaves 添加从的IP，删除localhost
5. 将复制到其他节点
scp -r /app/zpy/spark root@x.x.x.x:/app/zpy/
6. 修改权限
chown -R hadoop:hadoop /app/zpy/spark
7. 启动
ps：su hadoop
只需要在master节点操作如下两条命令：
start-master.sh
start-slaves.sh
7、验证
su hadoop
jps 查看master与worker进程
spark-shell 查看启动spark是否有报错
8、Web界面
http://master:8080
