前提:安装与远端服务器相同的Python版本,并将spark目录放置到本地
注意:要导入spark路径到系统环境变量
配置Pycharm
1.
2
本地测试结果:
远程服务器测试:
使用:spark-submit --master local[2] --name spark程序名 py文件名
问题:
有些小伙伴可能会和我一样在mac上遇到这种问题:
Python in worker has different version 3.6 than that in driver 3.7, PySpark cannot run with different minor versions
千万不要尝试让你删x x x文件的方法!!!只需要: