美文网首页
yarn cgrop file leak

yarn cgrop file leak

作者: frank3 | 来源:发表于2020-05-11 16:02 被阅读0次

问题描述:
工作需要,使用yarn cgroup进行cpu隔离,防止某些cpu密集型任务影响其他任务,配置完yarn配置,上线了cgroup功能,第二天观察,发现cgroup下建立的container_xxxxxxxx在/sys/fs/cgroup/cpu,cpuacct/yarn/下部分文件夹没有清理,如下图


image.png

通过查阅相关文档,需要配置如下参数:

yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms=400 (默认1000)
yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms=80 (默认20)

上线次配置,restart nodemanager, 问题得到解决。

相关文章

网友评论

      本文标题:yarn cgrop file leak

      本文链接:https://www.haomeiwen.com/subject/oziunhtx.html