美文网首页程序员
spark程序打包到运行

spark程序打包到运行

作者: 飞叔Brother | 来源:发表于2018-10-24 14:24 被阅读16次

    工作好几年了,但是每次隔一段时间后,写好spark程序打jar包运行,都会从打包到运行,上网查个遍,耽搁好长时间。

    今天,我决定。我要把整个过程记录下来,以备不时之需。谁也拦不住我。


    程序打包

    工具IDEA

    1,右击项目名称,选择Open Mdoules Settings。

    第一步

    2,点击Artifacts => 点击+号 => 点击jar => 点击From modules with dependencies...。

    第二步

    3,选择主类 => 选择第二个单选框 => 选择META-INF的存放位置 => 点击ok。

    第三步

    4,将Type改为:JAR => 将下图的复选框勾选 => 点击ok。

    第四步

    5,点击左上角菜单栏中的Build => 选择Build Artifacts...。

    第五步

    6,出现下图,点击Build。

    第六步

    完成以上六步,稍做等待,待打包完成,到第四步图中的Output directory的目录中找到打好的jar包即可。


    运行程序

    上传jar,到spark的bin目录下运行jar。OK!

    ./spark-submit --master yarn-cluster --class rxcdTest.SparkTest /home/weipengfei/jars/SpectrumMonitoringDataSystem_jar.jar


    以上所述如有不妥,恳请大家指正。

    (如果对您有所帮助话,那就点个赞点个关注吧,嘻嘻~~)

    安利一个特别热心的编程乐园群:624108656

    超级热心的群

    相关文章

      网友评论

        本文标题:spark程序打包到运行

        本文链接:https://www.haomeiwen.com/subject/rlyazftx.html