美文网首页
随手记录—查看已停止的spark job日志

随手记录—查看已停止的spark job日志

作者: Lacia | 来源:发表于2018-08-31 13:41 被阅读0次

    最近发现有些spark job自己停了,一部分是因为环境资源原因一部分是因为程序本身的问题
    如何查看已经停止的spark job日志:
    通过yarn application -list或在yarn resource manager中查找到application的id,然后

    yarn logs -applicationId application_1535505348755_0001 > log1.log
    

    相关文章

      网友评论

          本文标题:随手记录—查看已停止的spark job日志

          本文链接:https://www.haomeiwen.com/subject/rxpswftx.html