问题原因
-
Kubernetes节点资源不足问题处理.png
-
查询node2节点上所有Pod都无法正常工作，kube-proxy都有异常，登陆dashboard页面在容器组里面下是有
The node was low on resource: [DiskPressure].报错信息说是节点资源不足，disk磁盘的意思 -
登陆在node2服务器节点上,根节点达到85% 使用率
/dev/mapper/centos-root 6.2G 5.3G 994M 85% /
- 在通过node2上的msg日志,磁盘达到85%，需要释放磁盘空间低于80%
Oct 9 13:37:23 k8s-node2 kubelet: I1009 13:37:23.861570 658 image_gc_manager.go:300] [imageGCManager]: Disk usage on image filesystem is at 85% which is over the high threshold (85%). Trying to free 287558041 bytes down to the low threshold (80%).
- 通过过滤关键字
[root@k8s-node2 log]# grep Percentage messages
HardEvictionThresholds:[{Signal:imagefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.15}#也就是剩余磁盘15%的时候硬驱逐Pod GracePeriod:0s MinReclaim:<nil>} {Signal:memory.available Operator:LessThan Value:{Quantity:100Mi Percentage:0} GracePeriod:0s MinReclaim:<nil>} {Signal:nodefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.1} GracePeriod:0s MinReclaim:<nil>} {Signal:nodefs.inodesFree Operator:LessThan Value:{Quantity:<nil> Percentage:0.05} GracePeriod:0s MinReclaim:<nil>}]
解决方法
-
node桑的kubelet负责顶起采集资源占用数据，并和预先设置的threshold值进行比较，如果超过threshold值，kubelet会杀掉一些Pod来回收相关资源，K8sg官网解读kubernetes配置资源不足处理
-
考虑到磁盘空余85% k8s就运行异常，从上面
nodefs.available percentage: 0.15也就是说nodees的可用空间要低于15%的时候，该节点上讲会执行eviction操作，由于磁盘已经达到了85%,在怎么驱逐也无法正常启动就会一直重启，Pod状态也是pending中
- 修改配置文件增加传参数,添加此配置项
--eviction-hard=nodefs.available<5%
[root@k8s-node01 ~]# systemctl status kubelet
● kubelet.service - kubelet: The Kubernetes Node Agent
Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/kubelet.service.d
└─10-kubeadm.conf
[root@k8s-node01 ~]# vim /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --eviction-hard=nodefs.available<5%"
- 重启kubelet,验证修改值是否生效。
[root@k8s-node02 ~]#systemctl daemon-reload
[root@k8s-node02 ~]#systemctl restart kubelet
[root@k8s-node01 ~]# grep Percentage /var/log/messages #最新日志，已经是0.05 也就是剩余5%,才会出现驱逐的情况。
{Signal:nodefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.05}
- 最终还是得配合清除业务程序日志，减少磁盘得使用率。
网友评论