Spark安装

官网下载spark，本文使用2.4.8

截屏2021-06-17 09.30.17.png

安装spark到/usr/local/
terminal中定位到spark-2.4.8-bin-hadoop2.7.tgz目录，移动spark-2.4.8-bin-hadoop2.7.tgz到/usr/local

rm spark-2.4.8-bin-hadoop2.7.tgz /usr/local

解压缩spark-2.4.8-bin-hadoop2.7.tgz

安装pyspark(本文使用python3，且mac自带python 2.7)

pip3 install pyspark

设置环境变量
打开～/.bash_profile

vim ~/.bash_profile

添加

export SPARK_HOME=/usr/local/spark-2.4.8-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

使环境变量生效

source ~/.bash_profile

在terminal中输入

pyspark

截屏2021-06-17 09.33.45.png

出现这个界面就安装好了