今天写好了一个spark程序拷贝到另一个项目里测试,抛出了java.lang.NoSuchMethodException: akka.remote.RemoteActorRefProvider异常,而在原来的项目里面就没有问题。没错了,肯定是环境问题了。
说是找不到方法,这些akka啊什么的应该是Scala的标准库啊。我又没有动过,怎么会没有呢!
百度了一下,说是可能spark里自带的akka与Scala的版本不一致。掐指一算。应该是冲突了,就去看了一下classpath,果然。两个都在classpath里。我们吧Scala的删除就好了。或者把他放到最后,优先加载spark的。
classpath在IDEA的如下地方调整:
删除或拖至下方即可。至此,问题解决!
以上所述如有不妥,恳请大家指正。
(如果对您有所帮助话,那就点个赞点个关注吧,嘻嘻~~)
安利一个特别热心的编程乐园群:624108656