美文网首页
基本的Spark本地调试环境

基本的Spark本地调试环境

作者: 乖乖的淋啦 | 来源:发表于2017-07-01 18:36 被阅读0次

1.JDK的安装

2. 环境变量的设置

(1)path

将JDK安装目录下的bin文件夹添加到Path系统变量的目的也就在这里,告诉操作系统:如果在当前目录下找不到java.exe,就去Path系统变量里的那些路径下挨个找一找,直到找到java.exe为止。

(2)classpath

CLASSPATH是在Java执行一个已经编译好的class文件时,告诉Java去哪些目录下找到这个class文件. Java在执行某个class文件的时候,并不会有默认的先从当前目录找这个文件,而是只去CLASSPATH指定的目录下找这个class文件,如果CLASSPATH指定的目录下有这个class文件,则开始执行,如果没有则报错(这里有去当前目录下找这个class文件,是因为当前路径通过.的方式,已经添加到了CLASSPATH系统变量中)。

(3)JAVA_HOME

软件的安装目录

3.Scala的安装

下载得到Scala的msi文件后,可以双击执行安装。安装成功后,默认会将Scala的bin目录添加到PATH系统变量中去(如果没有,和JDK安装步骤中类似,将Scala安装目录下的bin目录路径,添加到系统变量PATH中),为了验证是否安装成功,开启一个新的cmd窗口,输入scala然后回车,如果能够正常进入到Scala的交互命令环境则表明安装成功。如图:

4.Spark的安装

设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。如图(此处失败):

系统变量设置后,就可以在任意当前目录下的cmd中运行spark-shell,但这个时候很有可能会碰到各种错误,这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。

5.HADOOP下载

下载好hadoop之后,系统变量设置好后,开启一个新的cmd,然后直接输入spark-shell命令。发现结果与之前的依然一样,按照博主给的方法修改权限后,输入spark-shell依然不可以。Spark不能正常运行。(此处失败

相关文章

  • 基本的Spark本地调试环境

    1.JDK的安装 2. 环境变量的设置 (1)path 将JDK安装目录下的bin文件夹添加到Path系统变量的目...

  • spark应用调试(idea 环境)

    spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序,但有时候...

  • Pyspark的Intellij idea环境搭建

    为什么需要IDE 在本地搭建一个spark环境可以方便spark代码的调试,可以和一般程序一样打断点,看变量,否则...

  • 远程调试代码

    远程debug调试java代码 日常环境和预发环境遇到问题时,可以用远程调试的方法本地打断点,在本地调试。生产环境...

  • Spark Launcher java 提交代码 windows

    环境准备 spark 集群在linux 服务器,个人代码在本地调试,不希望每次就 打jar 包在上传再运行 使用s...

  • 基于 kubebuilder 的 operators 开发问题总

    前情提要 之前的文章已经将 kubebuilder 的开发环境和本地调试环境进行了简介和部署实现,流程基本走通,同...

  • 页面访问调试

    本地(一个局域网环境)调试 用过电脑本地服务器,进行本地(一个局域网环境)跨设备调试 开启本地服务器的途径:wam...

  • WebPack笔记

    WebPack 构建环境页面 初始化 调试环境搭建 生成Source Maps devtool配置如下: 本地调试...

  • Spark Windows 本地模式(LOCAL)搭建指南

    本文将介绍spark在windows下本地模式的搭建 Spark的运行模式基本可以分为两种: 本地模式 即Driv...

  • IDEA远程调试Spark

    1.前言 本文讲述如何使用IDEA远程调试spark,这里所说的调试spark包括: 调试spark应用程序,也就...

网友评论

      本文标题: 基本的Spark本地调试环境

      本文链接:https://www.haomeiwen.com/subject/fzpvcxtx.html