美文网首页
脚本提交spark任务会自动重试

脚本提交spark任务会自动重试

作者: YG_9013 | 来源:发表于2018-05-08 15:59 被阅读0次

    1)如果spark任务执行成功,不会自动重试
    2)如果spark任务执行失败,手动提交时不会重试
    3)如果spark任务执行失败,脚本自动调教时会重试一次

    配置参数--conf spark.yarn.maxAppAttempts=0即可。
    想不明白,为什么手动提交没有问题,脚本提交会自动重试。。看配置文件也没看到该配置,网上说默认是4。应该是yarn配置的是1。

    spark.yarn.maxAppAttempts
    The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.

    相关文章

      网友评论

          本文标题:脚本提交spark任务会自动重试

          本文链接:https://www.haomeiwen.com/subject/jpkwrftx.html