centos spark单机版伪分布式模式

Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。

1.2 Spark 部署依赖

Spark Standalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于Hadoop HDFS，因此我们也部署了伪分布式的Hadoop。

本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是vm91，已经做好了ssh免登录。Spark各依赖组件的版本分别如下：

JDK 1.8.0_71
Scala 2.11.8
Hadoop 2.6.0

scala下载

https://www.scala-lang.org/download/2.11.8.html

安装后，设置各组件的环境变量如下：

# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8

# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop

2. Spark 部署

2.1 下载和安装

Spark最新的稳定版本是2.0.1，下载地址是http://spark.apache.org/downloads.html。因为我们使用Hadoop版本是2.6.0.因此下载的时候选择的是Pre-built for Hadoop 2.6。

# 下载
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解压安装
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz

配置环境变量

# vi /etc/profile

输入以下配置项，在profile的尾部，并保存退出。

# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

使配置生效

source /etc/profile

Spark目录结构介绍

bin：提交运行Spark程序的脚本
conf：配置文件所在的目录
data：测试数据
examples：样例程序和源码
jars：jar lib的目录
LICENSE：顾名思义，license文件
licenses：依赖的第三方组件的licenses
logs：默认的日志目录
NOTICE
python：Python相关的脚本、文档和lib
R：R语言相关的文档、lib
README.md：readme文件，对于初学者很有用
RELEASE：发行版本介绍
sbin：启动和停止脚本目录
yarn：spark-yarn-shuffer.jar目录

2.2 配置

Spark的配置文件位于$SPARK_HOME/conf目录下，需要修改的配置文件包括spark-env.sh、spark-defaults.conf和slaves。这三个文件，conf目录都只有模版文件，需要我们重命名。

cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves

spark-env.sh

本次只修改了以下两个参数。

# 指定JDK路径
export JAVA_HOME=/opt/jdk
# 设置Master的地址
SPARK_MASTER_HOST=vm91

其余参数均采用了默认配置，包括了Hadoop配置文件的路径、Worker的内存和CPU资源的配置等，各配置项的含义，注释中都有说明。

spark-defaults.conf

spark-defaults.conf文件用于设定一些默认的Spark环境变量，本次设定了master的地址，和spark shuffer文件的保存路径。

spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle

slaves

slaves文件用于配置集群拥有的Worker。编辑slaves文件，输入hostname。

vm91

以上就是Spark伪分布式的安装配置过程；如果要分布式部署，只需要在slaves中设置其余Worker的主机名，并把本机的spark部署环境拷贝到其余主机上即可。

2.3 启动和停止

Spark启动后，可以通过jps命令来查看启动的进程，正常情况下，可以看到1个Master进程和1个Worker进程。

# 启动
$SPARK_HOME/sbin/start-all.sh

# 停止
$SPARK_HOME/sbin/stop-all.sh

# Web UI地址
http://192.168.1.91:8080

3. Spark 程序运行

3.1 提交Spark程序

使用脚本提交运行Spark程序。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi

可以看到屏幕上输出了Pi的值。

Pi is roughly 3.13959569797849

3.2 Spark-shell

使用如下命令，可以进入scala的shell交互式模式（可以看到spark版本及scala版本）。

[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell

:quit 退出（前面有个冒号）

查看master
http://hostname:8080/
查看worker
http://hostname:8081/
查看job详请（必须启动spark shell）
http://hostname:4040/