介绍
在Mac OS下使用Docker搭建Spark集群,进行学习。
准备工作
- 安装Docker
- 安装Docker Compose(Mac 下安装Docker是会自动安装)
Spark集群介绍
Spark集群是一种资源分配调度器,执行任务的Spark进程作为客户端向集群申请资源(计算节点),集群分配资源后,这个Spark进程会分解计算工作,把他们放到申请的计算节点中运行。
-
提交给Spark运行的工作叫Application,对应的主程序叫做Driver Program,主程序通过Spark Context来协调集群中的不同任务,具体过程参照下图:
-
Cluster Manager目前有三种类型:
- Standalone:Spark自带的简单的集群管理器
- Apache Mesos:一个通用的集群管理器,可以运行Hadoop MapReduce和其它服务应用
- Hadoop YARN:Hadoop 2提供的管理器
Docker化(基于Standalon模式)
本例中,将需要用的镜像分为以下三部分:
- 基础镜像(base)
- 主节点镜像(master)
- 从节点镜像(worker)
基础镜像的Dockerfile
基于linux,安装spark及其他对应的依赖包,参考镜像spark-base。
FROM alpine:3.10
LABEL maintainer="binwang"
ENV SPARK_VERSION=2.4.5
ENV HADOOP_VERSION=2.7
#download spark from apache.org is too slow,
#so we need download it locally, and copy it to image
#but copy package will increase image size, so we download it from mirror web
#COPY spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz /
RUN apk add --no-cache curl bash openjdk8-jre python3 py-pip nss libc6-compat \
&& ln -s /lib64/ld-linux-x86-64.so.2 /lib/ld-linux-x86-64.so.2 \
&& wget http://mirror.bit.edu.cn/apache/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz \
&& tar -xvzf spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz \
&& mv spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION} spark \
&& rm spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz \
&& cd /
ENV SPARK_HOME /spark
ENV PATH /spark/bin:$PATH
ENV PATH /spark/sbin:$PATH
# Fix the value of PYTHONHASHSEED
# Note: this is needed when you use Python 3.3 or greater
ENV PYTHONHASHSEED 1
master的Dockerfile
FROM cas001/spark-base:2.4.5-hadoop2.7
LABEL maintainer="binwang"
COPY master.sh /
ENV SPARK_MASTER_PORT 7077
ENV SPARK_MASTER_WEBUI_PORT 8080
ENV SPARK_MASTER_LOG /spark/logs
EXPOSE 8080 7077 6066
CMD ["/bin/bash","/master.sh"]
worker的Dockerfile
FROM cas001/spark-base:2.4.5-hadoop2.7
LABEL maintainer="binwang"
COPY worker.sh /
ENV SPARK_WORKER_WEBUI_PORT 8081
ENV SPARK_WORKER_LOG /spark/logs
ENV SPARK_MASTER "spark://spark-master:7077"
EXPOSE 8081
CMD ["/bin/bash","/worker.sh"]
docker-compose内容
version: '3'
services:
spark-master:
image: cas001/spark-master:2.4.5-hadoop2.7
container_name: cas001-spark-master
ports:
- "7077:7077" # SPARK_MASTER_PORT
- "8080:8080" # SPARK_MASTER_WEBUI_PORT
spark-worker:
image: cas001/spark-worker:2.4.5-hadoop2.7
ports:
- "8081"
集群测试
启动Container
- 运行命令
docker-compose up -d
启动Container,对应是一个spark-masker和一个spark-worker - 运行命令
docker-compose up --scale spark-worker=2
可以设置spark-worker的数量 - 登录http://localhost:8080查看,结果如下:
提交作业
- 查看运行中的容器
docker ps
- 进入spark-master容器
docker exec -it spark-master /bin/bash
- 提交作业
./spark/bin/spark-submit --master spark://spark-master:7077 --class org.apache.spark.examples.SparkPi /spark/examples/jars/spark-examples_2.11-2.4.5.jar 1000