一、看影响范围，是什么程度的挂了
有的时候可能是别的服务挂了导致本服务的部分功能挂了，有的时候是基础服务挂了，有时候是服务所有功能都不可用了。需要确定一下影响范围。怎么确定呢？最快的方式就是去页面看一下都有哪些功能不可用了，以及关注下sentry的报警。如果说服务挂了所有功能不可用，那么sentry会疯狂报警、页面全都打不开，error日志都是在刷屏（这时候就不要看error日志了），然后看一下机器大盘监控，一半来说机器挂了的话，能很明显从大盘监控看出来CPU飙升。
二、快速解决问题
深呼吸，保持冷静，本着以最快速度解决问题的精神，看下是否有新代码部署，或者脚本在跑，如果有的话需要快速回滚代码。回滚无效的话，需要问一下运维是不是底层服务出了问题，配合去处理，看下其他服务最近是否有上线，如果最近有上线的话，需要回滚。
三、如何定位问题？
关注第一条报警，往往是问题发生的根源！！！这是最重要的，因为我就碰到忽略了第一条最重要的报警，然后看各种error日志，看大盘监控，查询bi的nginx都毫无头绪的情况，回过头来才发现是因为没关注第一条报警。所以最后定位到mq挂了的原因是由于发布消息的时候超时时间设置为5s，但是mq出现故障了，很多mq任务一直在尝试建立连接，导致连接数爆满，然后CPU开始飙升，之后很多请求没办法处理，就出现了很多499，502，504。后来重启服务之后，服务能正常了，但是出现很多消息堆积的现象，并且内存很满，这里内存快要溢出的原因可能是消息堆积了？？
四、避免服务挂了
设置各类报警，比如错误日志报警、sentry报警、服务状态报警、慢查询报警、499报警等，然后遇到报警第一时间处理，关注第一条报警是什么。这非常重要！！
网友评论