一、PyCharm集成pyspark
前提:
1.已经安装好spark。(ps:我的是spark2.2.1)
2.已经有python环境。(ps:我的是python3.6.3)-
过程
1.使用pip运行如下命令pip install py4j
2.使用PyCharm创建一个项目
3.点击Run-->Edit Configurations
添加 PYTHONPATH和SPARK_HOME。
PYTHONPATH为spark安装路径中的python目录
SPARK_HOME为spark安装路径
PYTHONPATH为spark安装路径中的python目录
SPARK_HOME为spark安装路径
7.点击Preferences-->Project Structure-->Add Content Root
添加spark安装路径中的python目录下的lib里面的py4j-0.10.4-src.zip和pyspark.zip 然后 Apply ,OK!至此pyspark集成完毕!
二、PyCharm集成redis
1.点击Terminal进入命令行模式
2.执行以下命令
pip install redis
若此时可正常导入redis模块,则忽略以下内容,若依然提示redis模块不存在则继续以下步骤:
4.搜索Project Interpreter,选择python环境,点击“➕”按钮
5.搜索redis,选择需要的模块,点击Install to user's site packages directory,点击Install Package按钮,然后Apply,OK即可
二、PyCharm集成geohash
1.点击Terminal进入命令行模式
2.执行以下命令
pip install geohash
3.讲python3.6/site-packages目录下的Geohash文件夹命名改为geohash