启动pyspark设置为python3.X版本

第一次执行./pyspark 的时候你会发现默认的是python2.X版本的，需要的是python3.6.4版本
【官网：】
PySpark requires the same minor version of Python in both driver and workers. It uses the default python version in PATH, you can specify which version of Python you want to use by PYSPARK_PYTHON, for example:

PYSPARK_PYTHON=python3.4 bin/pyspark
PYSPARK_PYTHON=/opt/pypy-2.5/bin/pypy bin/spark-submit examples/src/main/python/pi.py

1、配置环境变量

vi ~/.bash_profile

添加：

export PYSPARK_PYTHON=python3.6

2、根据我安装python3.6.4程序时设置的情况，需要再修改一下spark-env.sh才能成功~

修改spark-env.sh文件，在末尾添加

PYSPARK_PYTHON=/usr/bin/python3

3、重新执行

bin>./pyspark
或者 bin>./pyspark --master local[2]

都没有问题啦~

Image 3.png