IDEA本地执行&调试Spark Application

作者: 牛肉圆粉不加葱 | 来源:发表于2015-10-16 15:59 被阅读9986次

对于一些比较简单的application，我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法：

一

在创建SparkContext对象时，指定以local方式执行，如下

val sc = new SparkContext("local", "app name")

修改执行配置，如下

当然，运行的前提是将必要的jar包在Libraries中配置好，如图:

如果你还想直接在IDEA中调试spark源码，按f7进入.class后，点击

选择你在官网下载的与你的jar包版本一致的源码

之后，你就可以任意debug了～

欢迎关注我的微信公众号：FunnyBigData

FunnyBigData

IDEA本地执行&调试Spark Application
对于一些比较简单的application，我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法...
spark应用调试(idea 环境)
spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序，但有时候...
IDEA远程调试Spark
1.前言本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括：调试spark应用程序，也就...
idea本地调试spark demo 异常
第一个问题:Caused by: java.lang.ClassNotFoundException: org.ap...
IDEA本地运行spark程序
idea 里面加入scala sdk和 spark jar 本地安装spark 并启起来本地安装scala 代...
IDEA配置本地开发环境连接远程集群访问Hdfs，Spark S
摘要：IDEA，Spark，Hive，Hdfs IDEA配置访问hdfs IDEA本地环境需要配置pom.xml依...
spark应用执行流程
1.Spark的应用执行机制用户提交一个Application到Spark集群执行的基础流程如下图所示： (1)...
【Spark】Spark应用执行机制
Spark应用概念 Spark应用（Application）是用户提交的应用程序。执行模式又Local、Stand...
java中使用SparkLauncher提交spark应用
将开发好的spark application（对于java/scala来说是jar）提交到spark集群执行的方式...
org.apache.spark.streaming.dstr
现象执行Spark Streaming Application时报错原因及方案原因： StreamingCo...