美文网首页
Spark开发环境搭建

Spark开发环境搭建

作者: 一只特立独行的猪1991 | 来源:发表于2020-03-27 17:01 被阅读0次

    按照开发语言的不同,分为Java、Scala和Python开发环境。其中Java和Scala开发环境搭建步骤相同,不同点在于Java首选Maven进行构建,Scala首选sbt进行构建,Scala也可以用Maven构建

    版本

    1. spark:2.2.0
    2. java:1.8
    3. scala:2.11.8
    4. maven:3.3.9
    5. hadoop:2.6.5

    说明:如果官网下载太慢,可以拷贝下载链接后使用迅雷下载

    搭建步骤(Java版)

    1. Java安装教程
    2. Scala安装教程
    3. Maven安装教程
    4. Hadoop安装教程
    5. Spark安装教程
    6. IDEA安装教程
    7. JavaWordCount
    8. 打包并提交运行Spark程序--待输出

    搭建步骤(Scala版)

    1. Java安装教程
    2. Scala安装教程
    3. Maven安装教程
    4. Hadoop安装教程
    5. Spark安装教程
    6. IDEA安装教程
    7. WordCount
    8. 打包并提交运行Spark程序--待输出

    搭建步骤(Python版)

    1. Java安装教程
    2. Scala安装教程
    3. Maven安装教程
    4. Hadoop安装教程
    5. Spark安装教程
    6. Anaconda3安装教程
    7. PyCharm安装教程
    8. wordcount
    9. 提交运行Spark程序--待输出

    搭建步骤(Jupyter版)

    1. Java安装教程
    2. Scala安装教程
    3. Maven安装教程
    4. Hadoop安装教程
    5. Spark安装教程
    6. Anaconda3安装教程
    7. Jupyter配置教程

    相关文章

      网友评论

          本文标题:Spark开发环境搭建

          本文链接:https://www.haomeiwen.com/subject/ogqruhtx.html