（八）Windows下配置Geospark

Update

2020.6.9：更新GeoSpark版本到1.3.1, 更新Hadoop版本到2.7.2, 更新Spark到2.3.4, 更新Scala到2.11.x

JDK安装

下载地址
1. 官网下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html
2. 在官网下载时，需要先注册oracle网站的账号，为了方便下载，这里提供一个百度云下载地址：链接：https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取码：9obn
下载完成后，直接双击安装，安装完成后，配置JAVA_HOME为JDK安装目录，在将%JAVA_HOME%\bin配置到PATH下，配置CLASSPATH为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

Maven安装

下载地址：http://maven.apache.org/download.cgi
解压后，将解压文件拷贝到任意目录，然后将maven下面的bin目录添加到环境变量

在命令控制行中输入mvn -v，如果有提示以下信息，则代表maven安装成功

Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\..
Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre
Default locale: zh_CN, platform encoding: GBK
OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"

Scala安装

下载地址: https://www.scala-lang.org/download/2.11.12.html
scala安装很简单，直接双击下载好的msi文件，scala会自动配置环境变量。

Hadoop安装

下载地址：
1. https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
2. winutil.exe下载：https://github.com/steveloughran/winutils，选择hadoop-2.7.1即可。
解压后，配置环境变量，设置HADOOP_HOME为Hadoop的解压目录，然后再设置该目录下的bin目录到系统变量的PATH下。
将下载winutils.exe复制到hadoop的bin目录下完成安装。

Spark安装

下载地址:
1. https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz](https://archive.apache.org/dist/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.7.tgz)
解压后，配置环境变量，设置SPARK_HOME为Spark的解压目录，然后再设置该目录下的bin目录到系统变量的PATH下。

在CMD中输入spark-shell，若有以下信息提示，则代表成功

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://hwang:4040
Spark context available as 'sc' (master = local[*], app id = local-1591705705311).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.4
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181)
Type in expressions to have them evaluated.
Type :help for more information.

搭建工程

首先从https://github.com/scially/GeosparkBook将整个工程下载下来，并解压
打开IDEA，选择Import Project，选择刚才解压的目录，选中Import project from external model，选择Maven，点击Next
勾选Import Maven projects automatically，然后点击Environment Settings，选择我们之前安装的maven目录，然后一路Next，完成后IDEA会去自动构建工程，如果你是第一次开发Spark相关应用，这个构建时间会有点长，因为IDEA要去maven中央仓库拉取依赖，耐心等待即可（需要30分钟左右）。
构建完成后，打开cn.dev下面的任意一个类，点击main函数左边的执行按钮，若运行成功，则代表环境配置成功。

最后编辑于：2020.06.09 20:31:09