准备工作：
三台机器：
192.168.222.129
192.168.222.130
192.168.222.131
操作系统：CentOS release 6.7 (Final)
软件版本：
kafka：kafka_2.10-0.10.0.0.tar.gz
java：jdk1.8.0_91
scala：scala-2.10.6
spark：spark-1.6.1-bin-cdh4.tar.gz
1.三台机器上，都添加hosts
192.168.222.129 spark129
192.168.222.130 spark130
192.168.222.131 spark131
2.安装kafka
1) 安装包解压到/usr/local/kafka_2.10-0.10.0.0
2) 进入config目录下，修改zookeeper.properties文件
tickTime=2000
dataDir=/data/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=spark129:2888:3888
server.2=spark130:2888:3888
server.3=spark131:2888:3888
3).在dataDir目录/data/zookeeper/下写一个myid文件，命令如下：
echo1>myid
这个id是zookeeper的主机标识，每个机器都不一致，依次为1，2，3
4).依次启动3台机器的zookeeper，构成一个集群
sh zookeeper-server-start.sh --daemon ../config/zookeeper.properties
5).修改kafka配置，进入到/usr/local/kafka_2.10-0.10.0.0/config 下修改
server.properties
broker.id=1
port=9092
host.name=spark129
zookeeper.connect=spark129:2181,spark130:2181,spark131:2181
log.dirs=/data/kafka/log/
5).依次启动三台机器的kafka
./kafka-server-start.sh -daemon ../config/server.properties
3.安装spark
1） 三个节点上创建spark用户
useradd spark
passwd spark
2) 安装java和scala 并配置环境变量
3）每台机器配置ssh无密码登录
yum install -y openssh-server
ssh-keygen -t rsa -P ''
ssh-copy-id spark129
ssh-copy-id spark130
ssh-copy-id spark131
4）解压spark到/usr/local/spark-1.6.1-bin-cdh4
5）配置spark的环境变量
cd /home/spark
vim ~/.bash_profile
export SPARK_HOME=/home/spark/spark-1.6.1-bin-cdh4
export PATH=.:$SPARK_HOME/bin:$PATH
source ~/.bash_profile
6)配置spark
首先新建好spark用到的目录（使用root用户，只有这里使用root用户，每台机）：
$ mkdir /data //存储数据的总目录
$ mkdir /data/spark //spark数据存储主目录
$ mkdir /data/spark/local //spark存储本地数据的目录
$ mkdir /data/spark/log //spark存储日志的目录
$ mkdir /data/spark/work //spark存储worker日志等信息的目录
$ chmod -R 777 /data/ //将/data目录权限设置为最大
6) 配置spark-env.sh
Spark-env.sh文件中配置了spark运行时的一些环境、依赖项以及master和slaver的资源配置。
$ cd spark //进入spark目录
$ cp conf/spark-env.sh.template conf/spark-env.sh //将spark-env.sh.template复制一份为spark-env.sh
因为我们是部署standalone模式，可以参考配置文件中注释项的提示：
添加以下内容：
配置项
说明
SPARK_LOCAL_IP= spark129 本机ip或hostname（不同主机配置不同）
SPARK_LOCAL_DIRS=/data/spark/local 配置spark的local目录
SPARK_MASTER_IP= spark129 master节点ip或hostname
SPARK_MASTER_WEBUI_PORT=8080 web页面端口
SPARK_WORKER_CORES=2 Worker的cpu核数
SPARK_WORKER_MEMORY=8g worker内存大小
SPARK_WORKER_DIR=/data/spark/work worker目录
export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=4" spark-shell启动使用核数
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=604800" worker自动清理及清理时间间隔
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://systex/user/spark/applicationHistory" history server页面端口、备份数、log日志在HDFS的位置（注意，需要在HDFS上新建对应的路径）
SPARK_LOG_DIR=/data/spark/log 配置Spark的log日志目录
export JAVA_HOME=/usr/local/jdk/ 配置java路径
export SCALA_HOME=/usr/local/scala/ 配置scala路径
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop 配置hadoop的lib路径
export HADOOP_CONF_DIR=/etc/hadoop/conf 配置hadoop的配置路径
7) 配置spark-defaults.conf
Spark-default.conf文件中主要配置的是与在spark上运行任务有关的一些参数，以及对executor等的配置。
添加以下内容：
配置项
说明
spark.eventLog.enabled true eventLog是否生效（建议开启，可以对已完成的任务记录其详细日志）
spark.eventLog.compress true eventLog是否启用压缩（cpu性能好的情况下建议开启，以减少内存等的占用）
spark.eventLog.dir hdfs://systex/user/spark/applicationHistory eventLog的文件存放位置，与spark-env.sh中的history server配置位置一致
spark.broadcast.blockSize 8m 广播块大小
spark.executor.cores 1 Executor的cpu核数
spark.executor.memory 512m Executor的内存大小
spark.executor.heartbeatInterval 20s Executor心跳交换时间间隔
spark.files.fetchTimeout 120s 文件抓取的timeout
spark.task.maxFailures 6 作业最大失败次数（达到此次数后，该作业不再继续执行，运行失败）
spark.serializer org.apache.spark.serializer.KryoSerializer 设置序列化机制（默认使用java的序列化，但是速度很慢，建议使用Kryo）
spark.kryoserializer.buffer.max 256m 序列化缓冲大小
spark.akka.frameSize 128 Akka调度帧大小
spark.default.parallelism 20 默认并行数
spark.network.timeout 300s 最大网络延时
spark.speculation true Spark推测机制（建议开启）
8) 配置slaves
在conf目录下有slaves文件，在其中配置slaves的hostname
$ cp conf/slaves.template conf/slaves
$ vim conf/slaves
添加各个slave节点的hostname：
至此，我们就将spark需要配置的东西全部配置完成，将spark整个目录复制到其他主机：
在相应的主机创建对应的spark软链接，并将spark-env.sh中SPARK_LOCAL_IP改为对应的ip即可。
9)启动spark并测试（spark用户）
现在我们启动spark，在master节点执行以下命令：
$ cd /home/spark/spark
$ ./sbin/start-all.sh //启动master和slaves
$ ./sbin/start-history-server.sh //启动history server
使用jps命令查看是否成功启动：
检查进程是否启动【在master节点上出现“Master”，在slave节点上出现“Worker”】
## 监控页面URL http:// 192.168.222.129:8080/
运行spark-pi：
spark-submit --master spark://10.47.110.38:7077 --classorg.apache.spark.examples.SparkPi --name Spark-Pi /home/spark/spark/lib/spark-examples-1.6.0-hadoop2.6.0.jar
能看到如下结果：
