2019-10-29 spark系列（一） spark 安装

安装Spark之前确保已有JDK环境和python环境,python这里是3.6.5，java是1.8。

        请注意，Spark 可运行在 Java 8，Python 2.7+/3.4+ 和 R 3.1+ 的环境上。针对 Scala API，Spark 2.4.4 使用了 Scala 2.12。您需要一个可兼容的 Scala 版本（2.12.x）。

        请注意，从 Spark 2.2.0 起，对 Java 7，Python 2.6 和旧的 Hadoop 2.6.5 之前版本的支持均已被删除。

        请注意，Scala 2.10 的支持已经在 Spark 2.3.0 中删除。Scala 2.11 的支持已经不再适用于 Spark 2.4.1，并将会在 Spark 3.0 中删除。

1、spark官网下载spark

        本文下载版本是spark-2.4.4-bin-hadoop2.7.tgz

2、安装spark到/usr/local/

        terminal中定位到spark-2.4.4-bin-hadoop2.7.tgz下载目录，解压spark-2.4.4-bin-hadoop2.7.tgz到/usr/local

3、安装pyspark(本文使用python3，且mac自带python 2.7)

        pip3 install pyspark

4、设置环境变量

        打开～/.bash_profile

                open ~/.bash_profile

        添加到文件末尾

                export SPARK_HOME=/usr/local/spark-2.4.4-bin-hadoop2.7

                export PATH=$PATH:$SPARK_HOME/bin

        使环境变量生效

               source ~/.bash_profile

5、在terminal中运行pyspark

        pyspark