美文网首页JVM
33-实战4-合理配置堆内存

33-实战4-合理配置堆内存

作者: 紫荆秋雪_文 | 来源:发表于2022-05-16 11:08 被阅读0次

    一、推荐配置

    实战2-调整堆大小提高服务的吞吐量中我们讲到了增加内存可以提高系统的性能而且效果显著,那么随之带来的一个问题就是,我们增加多少内存比较合适?如果内存过大,那么如果产生FullGC的时候,GC时间会相对比较长,如果内存较小,那么就会频繁的触发GC,在这种情况下,我们该如何合理的适配堆内存大小呢?

    分析:
    依据的原则是根据Java Performance里面的推荐公式来进行设置。
    Java整个堆大小设置,Xmx 和 Xms设置为老年代存活对象的3-4倍,即FullGC之后的老年代内存占用的3-4倍。方法区(永久代 PermSize和MaxPermSize 或 元空间 MetaspaceSize 和 MaxMetaspaceSize)设置为老年代存活对象的1.2-1.5倍。年轻代Xmn的设置为老年代存活对象的1-1.5倍。老年代的内存大小设置为老年代存活对象的2-3倍。
    但是,上面的说法也不是绝对的,也就是说这给的是一个参考值,根据多种调优之后得出的一个结论,大家可以根据这个值来设置一下我们的初始化内存,在保证程序正常运行的情况下,我们还要去查看GC的回收率,GC停顿耗时,内存里的实际数据来判断,Full GC是基本上不能有的,如果有就要做内存Dump分析,然后再去做一个合理的内存分配。

    我们还要注意到一点就是,上面说的老年代存活对象怎么去判定。

    二、计算老年代存活对象

    方式1:查看日志(推荐)

    JVM参数中添加GC日志,GC日志中会记录每次FullGC之后各代的内存大小,观察老年代GC之后的空间大小。可观察一段时间内(比如2天)的FullGC之后的内存情况,根据多次的FullGC之后的老年代的空间大小数据来预估FullGC之后老年代的存活对象大小(可根据多次FullGC之后的内存大小取平均值)。

    方式二:强制触发FullGC

    会影响线上服务,慎用!
    方式1的方式比较可行,但需要更改JVM参数,并分析日志。同时,在使用CMS回收器的时候,有可能不能触发FullGC,所以日志中并没有记录FullGC的日志。在分析的时候就比较难处理。 所以,有时候需要强制触发一次FullGC,来观察FullGC之后的老年代存活对象大小。
    注:强制触发FullGC,会造成线上服务停顿(STW),要谨慎!建议的操作方式为,在强制FullGC前先把服务节点摘除,FullGC之后再将服务挂回可用节点,对外提供服务,在不同时间段触发FullGC,根据多次FullGC之后的老年代内存情况来预估FullGC之后的老年代存活对象大小

    如何强制触发Full GC?

    方法1

    jmap -dump:live,format=b,file=heap.bin  
    
    • 将当前的存活对象dump到文件,此时会触发FullGC

    方法2

    jmap -histo:live 
    
    • 打印每个class的实例数目,内存占用,类全名信息.live子参数加上后,只统计活的对象数量. 此时会触发FullGC

    方法3

    • 在性能测试环境,可以通过Java监控工具来触发FullGC,比如使用VisualVM和JConsole,VisualVM集成了JConsole,VisualVM或者JConsole上面有一个触发GC的按钮。

    三、实战

    1、JVM配置参数

    现在我们通过idea启动springboot工程,我们将内存初始化为1024M。我们这里就从1024M的内存开始分析我们的GC日志,根据我们上面的一些知识来进行一个合理的内存设置。

    JVM设置如下:

    -XX:+PrintGCDetails 
    -XX:MetaspaceSize=64m 
    -Xss512K 
    -XX:+HeapDumpOnOutOfMemoryError 
    -XX:HeapDumpPath=heap/heapdump3.hprof 
    -XX:SurvivorRatio=8 
    -XX:+PrintGCDateStamps 
    -Xms80M 
    -Xmx80M 
    -Xloggc:log/gc-oom3.log
    
    • 配置2
    -XX:+PrintGCDetails 
    -XX:MetaspaceSize=64m 
    -Xss512K 
    -XX:+HeapDumpOnOutOfMemoryError 
    -XX:HeapDumpPath=heap/heapdump3.hprof  
    -XX:SurvivorRatio=8  
    -XX:+PrintGCDateStamps  
    -Xms1024M  
    -Xmx1024M 
    -Xloggc:log/gc-oom3.log
    

    小结

    • 通过分别压测上述两种配置后,发现从吞吐量角度来看,这两个配置几乎没有区别。

    四、数据分析

    项目启动,通过jmeter访问10000次(主要是看项目是否可以正常运行)之后,查看gc状态
    jstat -gc pid
    YGC平均耗时: 0.12s * 1000/7 = 17.14msFGC未产生
    看起来似乎不错,YGC触发的频率不高,FGC也没有产生,但这样的内存设置是否还可以继续优化呢?是不是有一些空间是浪费的呢。
    为了快速看数据,我们使用了方式2,通过命令 jmap -histo:live pid 产生几次FullGC,FullGC之后,使用的jmap -heap 来看的当前的堆内存情况。

    观察老年代存活对象大小:
    jmap -heap pid或者直接查看GC日志查看一次FullGC之后剩余的空间大小

    可以看到存活对象占用内存空间大概13.36M,老年代的内存占用为683M左右。 按照整个堆大小是老年代(FullGC)之后的3-4倍计算的话,设置堆内存情况如下:

    Xmx=14 * 3 = 42M 至 14 * 4 = 56M 之间

    我们修改堆内存状态如下:
    -XX:+PrintGCDetails -XX:MetaspaceSize=64m -Xss512K -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heap/heapdump.hprof -XX:SurvivorRatio=8 -XX:+PrintGCDateStamps -Xms60M -Xmx60M -Xloggc:log/gc-oom.log
    修改完之后,我们查看一下GC状态
    请求之后YGC平均耗时: 0.195s * 1000/68 = 2.87msFGC未产生整体的GC耗时减少。但GC频率比之前的1024M时要多了一些。依然未产生FullGC,所以我们内存设置为60M 也是比较合理的,相对之前节省了很大一块内存空间,所以本次内存调整是比较合理的
    依然手动触发Full ,查看堆内存结构

    五、结论

    在内存相对紧张的情况下,可以按照上述的方式来进行内存的调优, 找到一个在GC频率和GC耗时上都可接受的一个内存设置,可以用较小的内存满足当前的服务需要。

    但当内存相对宽裕的时候,可以相对给服务多增加一点内存,可以减少GC的频率,GC的耗时相应会增加一些。 一般要求低延时的可以考虑多设置一点内存, 对延时要求不高的,可以按照上述方式设置较小内存。
    如果在垃圾回收日志中观察到OutOfMemoryError,尝试把Java堆的大小扩大到物理内存的80%~90%。尤其需要注意的是堆空间导致的OutOfMemoryError以及一定要增加空间。
    比如说,

    • 增加-Xms和-Xmx的值来解决old代的OutOfMemoryError
    • 增加-XX:PermSize和-XX:MaxPermSize来解决permanent代引起的OutOfMemoryError(jdk7之前);
    • 增加-XX:MetaspaceSize和-XX:MaxMetaspaceSize来解决Metaspace引起的OutOfMemoryError(jdk8之后)

    记住一点Java堆能够使用的容量受限于硬件以及是否使用64位的JVM。在扩大了Java堆的大小之后,再检查垃圾回收日志,直到没有OutOfMemoryError为止。如果应用运行在稳定状态下没有OutOfMemoryError就可以进入下一步了,计算活动对象的大小。

    六、估算GC频率

    正常情况我们应该根据我们的系统来进行一个内存的估算,这个我们可以在测试环境进行测试,最开始可以将内存设置的大一些,比如4G这样,当然这也可以根据业务系统估算来的。

    比如从数据库获取一条数据占用128个字节,需要获取1000条数据,那么一次读取到内存的大小就是(128 B/1024 Kb/1024M)* 1000 = 0.122M ,那么我们程序可能需要并发读取,比如每秒读取100次,那么内存占用就是0.122100 = 12.2M ,如果堆内存设置1个G,那么年轻代大小大约就是333M,那么333M80% / 12.2M =21.84s ,也就是说我们的程序几乎每分钟进行两到三次youngGC。这样可以让我们对系统有一个大致的估算。

    • 0.122M * 100 = 12.2M /秒 ---Eden区
    • 1024M * 1/3 * 80% = 273M
    • 273 / 12.2M = 22.38s ---> YGC 每分钟2-3次YGC

    相关文章

      网友评论

        本文标题:33-实战4-合理配置堆内存

        本文链接:https://www.haomeiwen.com/subject/otniurtx.html