Pycharm配置Spark开发

前提：安装与远端服务器相同的Python版本，并将spark目录放置到本地

注意：要导入spark路径到系统环境变量

配置Pycharm

1.

1.png

2

2.png

本地测试结果：

3.png

远程服务器测试：

使用：spark-submit --master local[2] --name spark程序名  py文件名

问题：

有些小伙伴可能会和我一样在mac上遇到这种问题：

Python in worker has different version 3.6 than that in driver 3.7, PySpark cannot run with different minor versions

1.png

千万不要尝试让你删x x x文件的方法！！！只需要：

2.png