美文网首页
yarn cgrop file leak

yarn cgrop file leak

作者: frank3 | 来源:发表于2020-05-11 16:02 被阅读0次

    问题描述:
    工作需要,使用yarn cgroup进行cpu隔离,防止某些cpu密集型任务影响其他任务,配置完yarn配置,上线了cgroup功能,第二天观察,发现cgroup下建立的container_xxxxxxxx在/sys/fs/cgroup/cpu,cpuacct/yarn/下部分文件夹没有清理,如下图


    image.png

    通过查阅相关文档,需要配置如下参数:

    yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms=400 (默认1000)
    yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms=80 (默认20)
    

    上线次配置,restart nodemanager, 问题得到解决。

    相关文章

      网友评论

          本文标题:yarn cgrop file leak

          本文链接:https://www.haomeiwen.com/subject/oziunhtx.html