现象
java服务，运行1-2天闪退。闪退问题通常比较难查，因为日志不全，所以记录一下本次问题原因定位。
定位问题过程
1 先看应用日志
一般闪退都不会记录（应用来不及写），但是可以碰碰运气看看最后在执行什么。
2 本地排查java内存泄漏
- 安装Jprofile
- 选择IDEA-->Perferences-->Plugins打开安装JProfile插件的界面
- 下载最新JProfile压缩包
- 本地运行java程序
-
在Jprofiler选择你要profile的进程
image.png
-
选择live memory--> mark current --> 执行疑似内存泄漏的操作-->点击GC
如果有对象不能被GC，则疑似发生了内存泄漏
image.png
-
进一步分析泄漏的原因，右键选中，查看heap
选择不进行GC查看前面新增的对象（勾选了GC选项后会再进行一次GC，前面GC过了就不用了。）
** 补充：内存泄漏一般看堆，栈一般存运行时数据 **
image.png
-
查看引用（references），show path to gc root，能看到对象的引用路径
image.png
- 这里可以先合并统计，找到最多的对象再挨个定位，要一个个查，找到问题所在。
问题到这里查到了一些微小的内存泄漏，但是感觉不至于服务1-2天闪退。查到了某写操作占用大量内存，但是可以被GC回收。需要进一步定位。
3 服务器查看系统日志
-
系统日志一般存放在/var/log中
-
不同的系统日志有不同的含义
- /var/log/cron 工作调度
- /var/log/dmesg 内核检测过程中产生的信息
- /var/log/lastlog 检测所有账号登陆信息
- /var/log/maillog或/var/log/mail/* 邮件
- /var/log/messages 记录系统发生的所有错误信息
- /var/log/secure 涉及账号密码信息
- /var/log/wtmp,/var/log/faillog 记录正确登陆系统与错误登陆系统者的账号信息
- /var/log/httpd/,/var/log/news/,/var/log/samba/* 不同网络服务的信息记录处
- /var/log/syslog (本人用的腾讯云的系统日志)**
-
先从应用日志中定位到闪退的时间（从某个时间点开始没有日志了）
-
然后搜索一下 /var/log/syslog
-
在闪退时间附近看下是否有异常，发现有oom-killer
image.png
-
Out of memory killer在可用内存极低的情况下会杀死某些进程。只要达到触发条件就会激活, 选中某个进程并杀掉。 通常采用启发式算法, 对所有进程计算评分(heuristics scoring), 得分最低的进程将被 kill 掉。它既不由JVM触发,也不由JVM代理, 而是系统内核内置的一种安全保护措施。 -
然后结合第二步，发现有一些操作会让内存暴涨（缓存了较多数据来追求性能优化），虽然可以被GC，但是导致服务器内存过低。解决方式就是内存扩容一下，或者优化应用使用的内存。
4 查问题过程中，其他辅助分析的工具
- 先从free命令理解下linux内存。free -h
image.png
total总内存=used已使用+free空闲。buffers:用来存储目录里面有什么内容。 比如执行了ls /etc之后 buffers增长了146980。cached:用来记忆我们打开的文件。 比如新建一个文件 cached增长了258804。swap:应用所需内存超过物理内存时，就会发生页面切换，通常要为系统配置swap空间。 他在一个独立磁盘分区上，物理内存耗尽后，会将应用最少运行的部分置换到swap空间里（活跃的不置换），如果要访问swap空间的部分，就必须将他置换进内存，对应用造成响应和吞吐量影响。 JVM垃圾回收在页面交换时性能很差，为了回收不可达对象所占用空间，需要访问大量内存，如果堆的一部分被置换出去了，就必须先置换进内存以便垃圾回收器扫描存活对象，增加垃圾收集的持续的时间，并且又stop the world，引起长时间停顿。-buffers/cache的意思: 等于used-buffers-cached。 从OS系统的角度来看,buffers/cached 都是属于系统使用的，应用使用的要减掉他们，反应的是被程序实实在在吃掉的内存。+buffers/cache的意思: 等于free + buffers + cached 从应用的角度来看，buffer/cached只是系统为了提高文件读取的性能而设置的，当自己应用需要用到这块的空间时，系统可以把它们回收掉，给应用程序使用，所以他们是应用可以使用的内存总数。shared: 据说是进程间共享内存，了解不多，因为这个参数出现的问题没有过。
-
下面用工具vmstat查问题，通常从下面两个方面看
image.png
- 内存不够用
swpd:使用的虚拟内存大小。free:空闲的物理内存大小。buff:用作缓冲的内存大小。cache:用作缓存的内存大小。si:每秒从交换区写到内存的大小，由磁盘调入内存。so:每秒写入交换区的内存大小，由内存调入磁盘。
如果swpd，so,si比较高，说明内存资源不足，已经占用交换区资源。需要增加内存。
网友评论