Apache Spark是一种快速群集计算技术，专为快速计算而设计。它基于HadoopMapReduce，它扩展了MapReduce模型以便将其用于更多类型的计算，其中包括交互式查询和流处理。Spark的主要特点是其内存集群计算，可提高应用程序的处理速度。
Spark旨在涵盖各种工作负载，如批处理应用程序，迭代算法，交互式查询和流式处理。除了在各自的系统中支持所有这些工作负载之外，它还减少了维护单独工具的管理负担。
Spark实际上不依赖于Hadoop，因为它拥有自己的集群管理。Hadoop只是实现Spark的一种方式。Spark以两种方式使用Hadoop，一种是存储，另一种是处理。由于Spark有自己的集群管理计算，因此它仅将Hadoop用于存储目的。
本文把 Hadoop作为存储，如何安装 Hadoop 见https://www.jianshu.com/p/97449d067cd9。
Ubuntu 版本: 18.x ～ 20.x
Spark 版本：3.1.2 （https://spark.apache.org/）
1. 安装 JDK 和设置 JAVA_HOME
略
2. 安装 Spark
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
$ mv ./spark-3.1.2-bin-hadoop3.2.tgz ~/apps/ # 移动到你想要放置的文件夹
$ tar -zvxf spark-3.1.2-bin-hadoop3.2.tgz # ~/apps/spark-3.1.2 (rename folder)
$ mv spark-3.1.2-bin-hadoop3.2 spark-3.1.2
$ sudo vim /etc/profile
HADOOP_CONF_DIR=/home/xxx/apps/hadoop-3.2.2/etc/hadoop # Run pyspark on hadoop yarn
SPARK_HOME=/home/xxx/apps/spark-3.1.2
PATH=$PATH:$SPARK_HOME/bin
export HADOOP_CONF_DIR SPARK_HOME
3. 本地运行 pyspark
$ pyspark --master local[2]
>>> sc.master
'local[2]'
>>> textFile = sc.textFile("file:/home/xxx/apps/spark-3.1.2/README.md")
>>> textFile.count()
>>> textFile2 = sc.textFile("hdfs://hadoop-master-vm:9000/test/data.txt")
>>> textFile2.count()
4. Hadoop yarn 方式运行 pyspark
$ pyspark --master yarn --deploy-mode client
>>> textFile = sc.textFile("hdfs://hadoop-master-vm:9000/test/data.txt")
>>> textFile.count()
5. 独立群集方式运行 Spark
$ cd ~/apps/spark-3.1.2
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
$ vim ./conf/spark-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_IP=hadoop-master-vm
export SPARK_MASTER_PORT=7077
$ cp ./conf/workers.template ./conf/workers
$ vim ./conf/workers
#localhost
hadoop-slave-vm
$ ./sbin/start-all.sh
$ ./sbin/stop-all.sh
$ pyspark --master spark://hadoop-master-vm:7077 --num-executors 1 --total-executor-cores 3 --executor-memory 512m
Spark Web UI:
http://hadoop-master-vm:8080
6. SparkContext 示例 - Python程序
创建一个名为 firstapp.py 的Python文件，并在该文件中输入以下代码。
----------------------------------------firstapp.py---------------------------------------
from pyspark import SparkContext
logFile = "file:///home/hadoop/spark-2.1.0-bin-hadoop2.7/README.md"
sc = SparkContext("local", "first app")
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()
print "Lines with a: %i, lines with b: %i" % (numAs, numBs)
----------------------------------------firstapp.py---------------------------------------
然后我们将在终端中执行以下命令来运行此Python文件。我们将得到与上面相同的输出。
$SPARK_HOME/bin/spark-submit firstapp.py
Output: Lines with a: 62, lines with b: 30
