今天改用IDEA打包Spark代码,spark-submit时报:
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
把百度,必应,stackoverflow翻个遍也没找到好的解决办法,最后只能根据maven打包时用的规则:
把jar包下根目录下的META-INF目录下的文件后缀名为SF,DSA,RSA的删掉:
zip -d xxx.jar META-INF/.RSA META-INF/.DSA META-INF/*.SF
再次spark-submit,成功运行。