美文网首页
如何快速发现内存问题

如何快速发现内存问题

作者: 金融测试民工 | 来源:发表于2023-07-03 10:11 被阅读0次

内存性能指标

缓存包括两部分,一部分是磁盘读取文件的页缓存,用来缓存从磁盘读取的数据,可以加快以后再次访问的速度。另一部分,则是 Slab 分配器中的可回收内存。

缓冲区是对原始磁盘块的临时存储,用来缓存将要写入磁盘的数据。这样,内核就可以把分散的写集中起来,统一优化磁盘写入。

内存主要包括一下4部分:

虚拟内存,包括了进程代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等。这里要注意,已经申请的内存,即使还没有分配物理内存,也算作虚拟内存。

常驻内存是进程实际使用的物理内存,不过,它不包括 Swap 和共享内存。

共享内存,既包括与其他进程共同使用的真实的共享内存,还包括了加载的动态链接库以及程序的代码段等。

Swap 内存,是指通过 Swap 换出到磁盘的内存。

缺页异常:在内存分配的原理中,我曾经讲到过,系统调用内存分配请求后,并不会立刻为其分配物理内存,而是在请求首次访问时,通过缺页异常来分配。缺页异常又分为下面两种场景。

可以直接从物理内存中分配时,被称为次缺页异常。

需要磁盘 I/O 介入(比如 Swap)时,被称为主缺页异常。

常用查找内存指标工具

为了迅速定位内存问题,我通常会先运行几个覆盖面比较大的性能工具,比如 free、top、vmstat、pidstat 等。

具体的分析思路主要有这几步。

先用 free 和 top,查看系统整体的内存使用情况。

再用 vmstat 和 pidstat,查看一段时间的趋势,从而判断出内存问题的类型。

最后进行详细分析,比如内存分配分析、缓存 / 缓冲区分析、具体进程的内存使用分析等。

常见的内存优化思路有这么几种:

最好禁止 Swap。如果必须开启 Swap,降低 swappiness 的值,减少内存回收时 Swap 的使用倾向。

减少内存的动态分配。比如,可以使用内存池、大页(HugePage)等。

尽量使用缓存和缓冲区来访问数据。比如,可以使用堆栈明确声明内存空间,来存储需要缓存的数据;或者用 Redis 这类的外部缓存组件,优化数据的访问。

使用 cgroups 等方式限制进程的内存使用情况。这样,可以确保系统内存不会被异常进程耗尽。

通过 /proc/pid/oom_adj ,调整核心应用的 oom_score。这样,可以保证即使内存紧张,核心应用也不会被 OOM 杀死。

相关文章

  • Java服务,内存OOM问题如何快速定位

    Java服务,内存OOM问题如何快速定位 Java服务出现了OOM(Out Of Memory)问题,总结了一些相...

  • 一篇文章学会定位内存泄漏

    在日常开发中,不可避免的会碰到内存泄漏问题,本片文章作为记录自己在工作中如何使用工具发现内存泄漏,定位内存泄漏。 ...

  • Java服务,内存OOM问题如何快速定位?

    最近一个朋友向我提问,Java服务出现了OOM(Out Of Memory)问题,该怎么做到快速定位? 某Java...

  • 数据结构之数组和单链表

    问题:HashMap如何组织数据达到 快速索引的目的的? 数据结构-数组 数组是一块连续的内存,存放着共同特性的内...

  • 索引

    数据库的索引机制解决的问题是在访问内存数据与磁盘数据的速度差别很大的情况下,如何快速访问数据的问题。只有了解了索引...

  • 浅谈数据审计思维与基本方法 (禁止转载)

    大数据时代,如何从纷繁复杂、易逝多变的表象中发现事物的本质,如何从碎片化的资料中快速有效发现重大问题,如何从数据背...

  • [必备]用adb命令抓取log到本地电脑中

        工作中遇到这样一个问题,当测试发现特定机型出现了问题后,如何快速定位问题,分析问题.这就需要我们抓取该手机...

  • 如何限制Linux内存的使用

    本文问题 有哪几种方法可以限制内存的使用? Linux如何回收内存? 如何控制swap的使用? 如何使用limit...

  • 摘录:按灯的本质难寻

    企业如何推行实施安灯系统?要了解按灯的本质是什么?发现问题立即暂停,一开始就重视品质的文化。快速发现问题解决问题,...

  • 生产环境JVM内存溢出案例分析

    如果我们所在公司的业务量比较大,在生产环境经常会出现JVM内存溢出的现象,那我们该如何快速响应,快速定位,快速恢复...

网友评论

      本文标题:如何快速发现内存问题

      本文链接:https://www.haomeiwen.com/subject/hymfhltx.html