解决方案:取掉scope就ok了

第二个问题:Exception in thread "main" java.lang.NoSuchMethodException: akka.remote.RemoteActorRefProvider.

原因:本地安装的scala中带的actor版本和spark中akka的actor版本有差异

解决方案:在classpath中将scala的jar放在spark之后就好了

在idea中调整下依赖顺序即可,如下图:

idea本地调试spark demo 异常
第一个问题:Caused by: java.lang.ClassNotFoundException: org.ap...
IDEA远程调试Spark
1.前言本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括：调试spark应用程序，也就...
spark应用调试(idea 环境)
spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序，但有时候...
IDEA本地运行spark程序
idea 里面加入scala sdk和 spark jar 本地安装spark 并启起来本地安装scala 代...
IDEA配置本地开发环境连接远程集群访问Hdfs，Spark S
摘要：IDEA，Spark，Hive，Hdfs IDEA配置访问hdfs IDEA本地环境需要配置pom.xml依...
运行Spark程序内存异常报错
记录Spark开发中遇到的各种问题。一、使用IDEA调试内存异常报错如下，意思就是说系统内存有这么大，必须增加...
IDEA本地执行&调试Spark Application
对于一些比较简单的application，我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法...
spark idea 编译异常
Error:(45, 66) not found: type SparkFlumeProtocol val tr...
IDEA开发Spark应用并提交本地Spark 2.1.0 st
本文主要参考了如下两篇博文： Windows下IntelliJ IDEA中调试Spark Standalone 怎...
hadoop hdfs 有内网、公网ip后，本地调试访问不了集群
问题背景：使用云上的虚拟环境搭建测试集群，导入一些数据，在本地idea做些debug调试，但是发现本地idea连接...