美文网首页
【2019-08-07】yarn上任务记录不显示

【2019-08-07】yarn上任务记录不显示

作者: 学师大术 | 来源:发表于2019-08-08 17:37 被阅读0次

    问题描述

    yarn的app没有显示,hdfs上存在其app的日志

    处理过程

    1.检查配置yarn.resourcemanager.max-completed-applications控制显示的app个数。
    2.使用admin没有对应的租户权限。

    1. kafka-console-producer.sh --broker-list <Kafka集群IP:21005>* --topic <Topic名称> --old-producer -sync

    2.测试
    dd if=/dev/zero of=/dev/sde bs=8k count=1600000

    3.修改mr的日志级别
    am debug参数:yarn.app.mapreduce.am.log.level
    mapreduce debug参数: mapreduce.map.log.level mapreduce.reduce.log.level
    位置为客户端参数:
    mapred-site或yarn-site中

    [](javascript:void(0) "重新发送")

    相关文章

      网友评论

          本文标题:【2019-08-07】yarn上任务记录不显示

          本文链接:https://www.haomeiwen.com/subject/xyvodctx.html