1、spark软件
mongodb-linux-x86_64-ubuntu1604-3.6.3.tgz
jdk-8u161-linux-x64.tar.gz
scala-2.12.4.tgz
spark-2.3.0-bin-hadoop2.7.tgz
2、配置环境变量
vim ~/.bashrc
# Java Env
export JAVA_HOME=/home/zhang/awin/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# mongodb env
export MONGODB_HOME=/home/zhang/awin/mongodb-linux-x86_64-ubuntu1604-3.6.3
export PATH=$MONGODB_HOME/bin:$PATH
# scala Env
export SCALA_HOME=/home/zhang/awin/scala-2.12.4
export PATH=$SCALA_HOME/bin:$PATH
# spark Env
export SPARK_HOME=/home/zhang/awin/spark-2.3.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
3、mongodb安装略
4、配置spark
进入spark安装目录conf, 执行命令：
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
在后面加上：
export JAVA_HOME=/home/zhang/awin/jdk1.8.0_161
export SCALA_HOME=/home/zhang/awin/scala-2.12.4
5、启动spark
进入spark安装目录sbin，执行命令：
./start-all.sh
6、验证
浏览器中输入：http://192.168.1.121:8080/jobs
7、java中连接mongo运行spark：
https://docs.mongodb.com/spark-connector/master/java-api/
