记一次yarn资源足够但是任务却提交阻塞

直接上图:

accepted.png

yarn集群资源内存只用了246.50G,一共有515G,cpu用了211个,一共240个.但是这个任务死活提交不上去,此任务需要20个container容器,每个容器只要1个cpu,1G的内存,最多也就20个cpu和内存.......
考虑到yarn任务的state是ACCEPTED,ACCEPTED只有一种可能,就是集群资源不够...
于是将任务20个container改成1个,果然启动成功了,,,确定是资源的问题.
然后看cdh其中一个节点的资源情况..

cdh节点资源.jpg
右侧有字节显示..
20.8+1.3+4.0+7.8+2.6+332.8/1024+1.3+1.3+1.5+1.3+1.5+1.3+105+1.3=151.325G,,,

这个节点物理内存一共才125.6G.....明显超了...
哎,,坑逼..其他节点也是一样..有些节点开始吃交换空间了..

交换空间.png