windows pycharm spark

作者: 东皇Amrzs | 来源:发表于2016-07-28 16:36 被阅读198次

1 . 安装py4j

pip install py4j

2 . 配置pycharm
在PYTHON_HOME\lib\site-packages下新建pyspark.pth文件内容为:

E:\spark-1.5.1-bin-hadoop2.4\python

记得把python前面替换成你的spark在本地的安装路径

3 . 配置SPAKR_HOME
这个没什么好说的，就是windos设置环境变量

4 . 安装 psutil

pip install psutil

pyspark在windows下的依赖包，还是安装下的好

windows pycharm spark
1 . 安装py4j 2 . 配置pycharm在PYTHON_HOME\lib\site-packages下新建...
Spark相关文章索引（5）
环境部署 Spark on Yarn集群搭建详细过程 Python pycharm（windows版本）部署spa...
Windows +pycharm 构建spark 开发环境
1.下载Python 并安装2.下载pycharm 并安装3.安装pi4jwin+r 输入cmd 执行命令 pip...
idea + spark的实现
上一篇博文主要介绍了在Windows上用pycharm实现开发spark的python程序，这次我们就介绍一下用i...
记-Spark-Mac下用Pycharm搭建Spark开发环境
安装Pycharm Pycharm安装直接到Pycharm官网下载，点击下一步安装即可。安装Spark Spar...
资源工具 | Pycharm
Pycharm最新版激活（Windows） hosts文件修改 Windows 路径：C:\Windows\Sys...
Pycharm中使用GitHub
环境：pycharm 2016，git 2.8，github账户，windows7 一、配置Pycharm 不管你...
mac上PyCharm集成pyspark、redis、geoha
一、PyCharm集成pyspark 前提：1.已经安装好spark。（ps：我的是spark2.2.1）2.已经...
【Python+OpenCV】安装配置
教程描述 Windows 7+Anaconda3-5.0.0-Windows-x86_64+pycharm-pro...
Pycharm 的安装和使用
1. 下载并安装 Pycharm windows 版下载地址 2. 运行 Pycharm 可在 Configure...