美文网首页
IDEA集成Spark

IDEA集成Spark

作者: Martin_阿锤 | 来源:发表于2018-10-16 16:11 被阅读8次

1.新建maven工程
2.点击工程项目,添加scala语言环境(注意Spark有对应的Scala版本信息)

图片.png
图片.png
3.maven 中央库中查找相应的Spark包,添加到maven配置中
https://mvnrepository.com/
4.运行时的一些注意事项:
4.1新建的时obj不是class
4.2报的一些启动的问题,可能时Spark和Scala版本不一致(到Spark官网上查找相应的版本)
4.3拷贝一些DemoCode时注意SparkSession和SparkContext区别

相关文章

网友评论

      本文标题:IDEA集成Spark

      本文链接:https://www.haomeiwen.com/subject/yophzftx.html