- 安装JAVA, 配置好环境变量
下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
- 下载Spark pre-build for Hadoop 版本的,配置环境变量
下载地址: https://spark.apache.org/downloads.html
export SPARK_HOME=/Blabla/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
- 安装 scala,配置环境变量
安装指令:brew install scala
export SPARK_DEV=1
export SCALA_HOME=/usr/local/Cellar/scala
配置好之后 source 一下 bashrc ,
输入命令 spark-shell
,看到控制台输出 welcome to spark
的相关信息
- Pycharm 相关配置
4.1 在相关项目的配置里面,增加
PYTHONPATH=/blabla/spark-2.2.0-bin-hadoop2.7/python
SPARK_HOME=/blabla/spark-2.2.0-bin-hadoop2.7
4.2 将 spark-2.2.0-bin-hadoop2.7/python/pyspark/ 复制到 Library/Python/2.7/site-packages 下面,这样
代码里面的 from pyspark.sql import SparkSession 就关联到源码,不会有错误提示了