线上现象(各种监控数据)
1.公司项目在监控平台上开始报警（jvm堆内存占用报警，FullGC次数超频率报警）
2.观察具体的监控图标（预发机器） 线程数平稳（260左右）
- 方法监控可以看到在fullGC比较频繁时，业务方法几乎无响应
线上配置(jvm配置,运行时内存分布)
- 项目版本：jdk8 ,spring 5, 默认垃圾处理器 Parallel GC with 43 thread(s) -Xms800m -Xmx800m -XX:MaxPermSize=256m
-
运行时jstat
-
运行时jmap histo
-
heap
5.dump文件1G左右，不发了，稍后看一下MAT分析的图表吧
逻辑分析(定位问题大致方向)
- 通过监控和运行时数据分析，堆内存（年轻代和老年代）、非堆（方法区）、均打满配置内存
- 即使FullGC，堆内存和非堆也只能回收少许内存，并且整体水位倾斜向上，直到内存溢出
通过逻辑分析，内存溢出问题来自于存在泄漏，接下来分析dump文件
内存分析(定位问题确切泄漏源)
采用MAT工具载入dump文件进行leak分析
通过分析可以看出红色的业务方法保留引用太多, 找到泄漏源了，接下来就分析业务代码具体的问题
通过分析，我们最终定位了这段代码，我们改造过程中引入了一个开源的属性运行时拷贝的包
但是我们每次转换的时候都会先register一遍转换代理类，而此类底层为每次register注册一个新生的代理类被加载到非堆
但是又被业务代码中的MAPPER_FACTORY引用，导致每次生成的实例充斥着年轻代又到老年代
最终的现象就是老年代、年轻代、非堆内存同时爆满，而又GC不掉，内存泄露直到溢出
代码处理
找到了具体的代码问题，我们将同一个类转换的register在系统启动时注入一次就行，不用每次调用注册，这样的话就不会频繁创建和加载，就可以解决上述问题
本地验证
本地验证错误使用代码，可以复现问题
加入 参数-verbose -verbose:gc 也 可以看到新增的代理类在循环中疯狂生成与加载， 修复后本地监控数据平稳运行，具体图标参考预发验证图表
预发验证
预发验证后续我们还将采用压测排除性能与其他内存问题，此次排除结束。
后记
此次问题还是属于比较常见的内存溢出分析，整体按着常用流程没有太多的难点，只有在分析register的时候一时定位不到是开源包的register方法调用的原因（虽然事后感觉很简单，当时也是耗费了30分钟左右才发现）。
troube shooting 三要素： 锻炼自己的逻辑思维、锻炼自己的技术能力、多看多查
网友评论