问题描述:
工作需要,使用yarn cgroup进行cpu隔离,防止某些cpu密集型任务影响其他任务,配置完yarn配置,上线了cgroup功能,第二天观察,发现cgroup下建立的container_xxxxxxxx在/sys/fs/cgroup/cpu,cpuacct/yarn/下部分文件夹没有清理,如下图
image.png
通过查阅相关文档,需要配置如下参数:
yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms=400 (默认1000)
yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms=80 (默认20)
上线次配置,restart nodemanager, 问题得到解决。
网友评论