接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包,相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。
(一)编写Scala独立应用程序
安装sbt
sbt是一款Spark用来对scala编写程序进行打包的工具,这里简单介绍sbt的安装过程,感兴趣的读者可以参考官网资料了解更多关于sbt的内容。
Spark 中没有自带 sbt,这里直接给出sbt-launch.jar的下载地址,直接点击下载即可。
我们选择安装在 /usr/local/sbt 中:
second try
重新一模一样的安装一遍hadoop和spark,这次是成功的。
其他参考资料
http://lib.csdn.net/article/scala/27169 给出了官网信息
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/50821459 给出了一个实例
配置信息
最终成功了,但是等了43min,太长了。
java
2 加载hdfs上的文件
2.1
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.100.125:50010