美文网首页开源
(八)Windows下配置Geospark

(八)Windows下配置Geospark

作者: Scially | 来源:发表于2019-06-10 17:32 被阅读35次

JDK安装

  1. 下载地址
    1. 官网下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html
    2. 在官网下载时,需要先注册oracle网站的账号,为了方便下载,这里提供一个百度云下载地址:链接:https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取码:9obn
  2. 下载完成后,直接双击安装,安装完成后,配置JAVA_HOMEJDK安装目录,在将%JAVA_HOME%\bin配置到PATH下,配置CLASSPATH为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

Maven安装

  1. 下载地址:http://maven.apache.org/download.cgi

  2. 解压后,将解压文件拷贝到任意目录,然后将maven下面的bin目录添加到环境变量

  3. 在命令控制行中输入mvn -v,如果有提示以下信息,则代表maven安装成功

    Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
    Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\..
    Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre
    Default locale: zh_CN, platform encoding: GBK
    OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
    

Scala安装(选做)

  1. 下载地址:https://www.scala-lang.org/download/
  2. scala安装很简单,直接双击下载好的msi文件,scala会自动配置环境变量。

Hadoop安装

  1. 下载地址:
    1. http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.5/
    2. winutil.exe下载:https://github.com/steveloughran/winutils,选择hadoop-2.6.4即可。
  2. 解压后,配置环境变量,设置HADOOP_HOME为Hadoop的解压目录,然后再设置该目录下的bin目录到系统变量的PATH下。
  3. 将下载winutils.exe复制到hadoop的bin目录下完成安装。

Spark安装

  1. 下载地址:

    1. 链接:https://pan.baidu.com/s/1AI_w4VXHNffc2ZGjX7FMjA 提取码:homs
      1. https://archive.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.6.tgz
  2. 解压后,配置环境变量,设置SPARK_HOME为Spark的解压目录,然后再设置该目录下的bin目录到系统变量的PATH下。

  3. 在CMD中输入spark-shell,若有以下信息提示,则代表成功

    19/06/10 15:37:10 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
    Spark context available as 'sc' (master = local[*], app id = local-1560152235130).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
          /_/
    
    Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181)
    Type in expressions to have them evaluated.
    Type :help for more information.
    

搭建工程

  1. 首先从https://github.com/scially/GeosparkBook将整个工程下载下来,并解压
  2. 打开IDEA,选择Import Project,选择刚才解压的目录,选中Import project from external model,选择Maven,点击Next
  3. 勾选Import Maven projects automatically,然后点击Environment Settings,选择我们之前安装的maven目录,然后一路Next,完成后IDEA会去自动构建工程,如果你是第一次开发Spark相关应用,这个构建时间会有点长,因为IDEA要去maven中央仓库拉取依赖,耐心等待即可(需要30分钟左右)。
  4. 构建完成后,打开cn.dev下面的任意一个类,点击main函数左边的执行按钮,若运行成功,则代表环境配置成功。

相关文章

网友评论

    本文标题:(八)Windows下配置Geospark

    本文链接:https://www.haomeiwen.com/subject/sektfctx.html