spark2.1 IDEA的配置运行

作者: 苟雨 | 来源:发表于2017-07-29 17:44 被阅读199次

    我使用的是spark2.1 官方的Scala依赖是2.11, spark2.2 的依赖也是2.11 所以如果你的Scala版本是2.22或者较老版本,还是换到这个版本比较好,不然可能会报错或者出现context不能初始化的问题,
    比如报:

    Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
    

    这就是版本不对导致的。

    然后就是安装idea,再安装Scala插件,也很简单,

    2017-07-29 下午5.39.24.png 2017-07-29 下午5.40.37.png

    然后导入依赖,

    2017-07-29 下午5.41.37.png 2017-07-29 下午5.42.34.png

    点左下角的那个➕号选择下载的spark包中的jars目录

    然后就可以编写代码了。
    并且能够在idea中运行。

    相关文章

      网友评论

        本文标题:spark2.1 IDEA的配置运行

        本文链接:https://www.haomeiwen.com/subject/rysclxtx.html