美文网首页
IDEA集成Spark

IDEA集成Spark

作者: Martin_阿锤 | 来源:发表于2018-10-16 16:11 被阅读8次

    1.新建maven工程
    2.点击工程项目,添加scala语言环境(注意Spark有对应的Scala版本信息)

    图片.png
    图片.png
    3.maven 中央库中查找相应的Spark包,添加到maven配置中
    https://mvnrepository.com/
    4.运行时的一些注意事项:
    4.1新建的时obj不是class
    4.2报的一些启动的问题,可能时Spark和Scala版本不一致(到Spark官网上查找相应的版本)
    4.3拷贝一些DemoCode时注意SparkSession和SparkContext区别

    相关文章

      网友评论

          本文标题:IDEA集成Spark

          本文链接:https://www.haomeiwen.com/subject/yophzftx.html