有时候我们会发现系统中某个进程会突然挂掉,通过查看系统日志发现是由于 OOM机制 导致进程被杀掉。
今天我们就来介绍一下什么是 OOM机制 以及怎么防止进程因为 OOM机制 而被杀掉。
OOM 是 Out Of Memory 的缩写,中文意思是内存不足。而 OOM机制 是指当系统内存不足时,系统触发的应急机制。
当 Linux 内核发现系统中的物理内存不足时,首先会对系统中的可回收内存进行回收,能够被回收的内存有如下:
- 读写文件时的页缓存。
- 为了性能而延迟释放的空闲 slab 内存页。
当系统内存不足时,内核会优先释放这些内存页。因为使用这些内存页只是为了提升系统的性能,释放这些内存页也不会影响系统的正常运行。
如果释放上述的内存后,还不能解决内存不足的情况,那么内核会如何处理呢?
答案就是:触发 OOM killer 杀掉系统中占用内存最大的进程。
如下图所示:
image.png
可以看出,OOM killer 是防止系统崩溃的最后一个手段,不到迫不得已的情况是不会触发的。
我们分析一下内核是如何实现 OOM killer 的。
在 Linux 系统中,进程申请的都是虚拟内存地址。
当程序调用 malloc() 申请内存时,如果虚拟内存空间足够的话,是不会触发 OOM 机制的。
当进程访问虚拟内存地址时,如果此虚拟内存地址还没有映射到物理内存地址的话,那么将会触发 缺页异常。
在缺页异常处理例程中,将会申请新的物理内存页,并且将进程的虚拟内存地址映射到刚申请的物理内存。
如果在申请物理内存时,系统中的物理内存不足,那么内核将会回收一些能够被回收的文件页缓存。如果回收完后,物理内存还是不足的话,那么将会触发 swapping机制(如果开启了的话)。
swapping机制会将某些进程不常用的内存页写入到交换区(硬盘分区或文件)中,然后释放掉这些内存页,从而达到缓解内存不足的情况。
从系统中选择一个最坏(占用物理内存最多)的进程。
如果找到最坏的进程,那么调用 oom_kill_process() 函数将此进程杀掉。
遍历系统中所有的进程和线程,并且计算进程的最坏分数值。
选择最坏分数值最大的进程作为被杀掉的目标进程。
主要按照以下步骤来计算进程的最坏分数值:
-
如果进程不能被杀掉(init进程和内核进程是不能被杀的),那么返回分数值为 0。
-
可以通过 /proc/{pid}/oom_score_adj 文件来设置进程的 OOM 建议值(取值范围为 -1000 ~ 1000)。建议值越小,进程被杀的机会越低。如果将其设置为 -1000 时,进程将被禁止杀掉。
-
统计进程使用的物理内存数,包括实际使用的物理内存、页表占用的物理内存和 swap 机制占用的物理内存。
-
最后加上进程的 OOM 建议值,得出最终的分数值。
计算出进程的最坏分数值后,系统就能从中选择一个分数值最大的进程杀死,从而解决内存不足的情况。
如何禁止进程被 OOM 杀掉 ?
有时候,我们不希望某些进程被 OOM killer 杀掉。
例如 MySQL 进程如果被 OOM killer 杀掉的话,那么可能导致数据丢失的情况。
那么如何防止进程被 OOM killer 杀掉呢?
从上面的分析可知,在内核计算进程最坏分数值时,会加上进程的 oom_score_adj(OOM建议值)值。
如果将此值设置为 -1000 时,那么系统将会禁止 OOM killer 杀死此进程。
例如使用如下命令,将会禁止杀死 pid为 2000 的进程:
# echo -1000 > /proc/2000/oom_score_adj
这样,我们就能防止一些重要的进程被 OOM killer 杀死了!
参考
如何理解Linux中的OOM(Out Of Memory Killer)机制
https://docs.pingcode.com/ask/83524.html
Linux OOM机制分析
https://www.cnblogs.com/MrLiuZF/p/15229868.html
Linux OOM机制分析
https://cloud.tencent.com/developer/article/1157275
细说Linux Out Of Memory机制
https://cloud.tencent.com/developer/article/2226518
网友评论