美文网首页ML
Spark的安装(基于Mac)

Spark的安装(基于Mac)

作者: A粒麦子 | 来源:发表于2017-10-20 15:56 被阅读754次

    一、简介


    1.1内容

    在mac电脑上成功安装spark(不用预先安装hadoop),并在jupyter上使用pyspark来操作spark。

    1.2 知识点

    • jdk的安装
    • spark和pyspark的安装
    • 虚拟环境的内核

    1.3 环境

    本文所有的环境变量是在.bash_profile.zshrc中配置的

    vim ~/.bash_profile   # 编辑文件
    source ~./bash_profile   # 更新文件
    

    一、安装Java JDK的dmg文件

    spark目前暂不支持JDK-9,所以选择下载最新的JDK-8版本
    官网下载(慢)
    国内下载(快)
    下载完成之后,直接点击jdk-8.dmg文件安装,并添加对应的环境变量

    export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Content    s/Home"
    export PATH="$JAVA_HOME/bin:$PATH"
    

    在Terminal中输入java查看安装结果


    二、安装Spark&pyspark

    2.1下载

    > brew install apache-spark
    > sudo -H pip install pyspark --user
    

    2.2配置

    apache-spark的默认安装位置:/usr/local/Cellar/apache-spark/2.2.0,其版本为目前最新的2.2.0版

    # spark的配置
    
    export SPARK_PATH="/usr/local/Cellar/apache-spark/2.2.0"
    export PATH="$SPARK_PATH/bin:$PATH"
    

    2.3运行

    在Terminal中,输入pyspark查看安装是否成功


    三、pyspark的ipython环境

    在jupyter notebook中使用pyspark,需要配置环境变量

    # 基于python的版本,配置2或3
    export PYSPARK_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5"
    export PYSPARK_DRIVER_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/ipython3"
    export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
    alias pysbook='$SPARK_PATH/bin/pyspark'
    

    在terminal中输入pyspark或者pysbook(别名),可以直接运行带spark的ipython notebook。


    参考链接:
    【1】 stack overflow上的java环境配置
    【2】 在mac上搭建spark+ipython环境
    【3】Spark学习(一) -- Spark安装及简介
    【4】mac下Spark的安装与使用
    【5】Spark安装和配置

    相关文章

      网友评论

        本文标题:Spark的安装(基于Mac)

        本文链接:https://www.haomeiwen.com/subject/lejvuxtx.html