本系列目录：
六、Spark集群搭建
本节所需的安装包有：
※spark-2.0.2-bin-hadoop2.7.tgz
1 安装spark包
1.1 将spark-2.0.2-bin-hadoop2.7.tgz主机Mac的终端分别传输到a1中的/usr/local目录下
1.2 使用命令进行解压缩spark-2.0.2-bin-hadoop2.7.tgz，
命令为：tar -zvxf spark-2.0.2-bin-hadoop2.7.tgz
1.3 重命名：mv spark-2.0.2-bin-hadoop2.7 spark
1.4 配置spark相关的环境变量
vi ~/.bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source ~/.bashrc
2 修改spark-env.sh文件
2.1 键入命令：cd /usr/local/spark/conf
2.2 键入命令：mv spark-env.sh.template spark-env.sh
2.3 修改spark-env.sh，命令：vi spark-env.sh
添加如下代码，如图6.1.1所示
###jdk安装目录
export JAVA_HOME=/usr/java/latest
###scala安装目录
export SCALA_HOME=/usr/local/scala
###spark集群的master节点的ip，a1
export SPARK_MASTER_IP=192.168.43.107
###指定worker节点能够最大分配给Excutors的内存大小
export SPARK_WORKER_MEMORY=1g
###hadoop集群的配置文件目录
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
3 配置slaves文件
3.1 修改/usr/local/spark/conf/slaves.template的名字，命令：mv slaves.template slaves
3.2 键入命令：vi slaves
添加如下代码，如图6.1.2所示
a2
a3
4 将a1中的spark、~/.bashrc通过scp命令拷贝a2、a3中，命令：
scp -r spark root@a2:/usr/local
scp -r spark root@a3:/usr/local
scp ~/.bashrc root@a2:~
scp ~/.bashrc root@a3:~
然后，在a2和a3中，分别执行命令：source ~/.bashrc，使得配置文件生效
5 启动Spark集群
5.1 首先进入/usr/local/spark/sbin目录下
5.2 执行./start-all.sh，结果如图6.1.3所示
5.3 使用jps，8080端口，spark-shell进行检查集群是否启动成功，如图6.1.4、图6.1.5、图6.1.6所示
至此Spark集群全部搭建完成~
