为什么要编译源码呢?要搞hive on spark。。。
1.CHD不好用,缺jar包啊
2.hive1.1的 pom文件写了只支持spark1.2
3.Apache版本的部署包有-Phive编译,不能用
简单粗暴的说
下载源码包开始编译:
1.使用这个命令:
mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
官网只支持参数hadoop版本到2.4,想编译其他版本 改pom文件,加进去就好了
编译完之后是是没有部署包的,要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替换到 之前解压的Apache版本的lib目录下
2.上步做完还是不能用。。。报错。。呵呵
3.恩。。在编译完的目录内再使用这个命令编译一遍
./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"
4.编译完之后的目录下会有个tar包,拿出来重新解压
5.
./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-
测试成功了,服务也开启了。。。。
接下来hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
附个我自己编译完的包~
链接: https://pan.baidu.com/s/1qXH0Eh2 密码: 7x2h