美文网首页
IDEA本地运行spark程序

IDEA本地运行spark程序

作者: RedHatMe | 来源:发表于2018-09-04 18:07 被阅读0次
    1. idea 里面 加入scala sdk和 spark jar


    2. 本地安装spark 并启起来

    3. 本地安装scala

    1. 代码里面conf
      val conf = new SparkConf().setAppName(appName).setMaster("spark://ziwei.local:7077")
      加入master 指向。
      localhost:8080 直接可以跳spark 环境看 运行的日志
      或者 http://ziwei.local:8080
      spark网页看任务执行情况

    相关文章

      网友评论

          本文标题:IDEA本地运行spark程序

          本文链接:https://www.haomeiwen.com/subject/ogrnwftx.html