前言
当我们实现滚动升级之前，务必要实现应用级别的优雅停机，否则滚动升级时，还是会影响到业务。所以，我们希望Java发版实现优雅停机。
1. Java 配置(开发侧)
1.1 加入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
1.2 配置SpringBoot应用
基于SpringBoot 2.3 +
默认情况下，SpringBoot的优雅停机(graceful)是关闭的，所以，需要将优雅停机配置打开。
在applicatoin.yaml中配置：
server:
port: 8080
# 开启优雅关闭，默认：IMMEDIATE，立即关闭
shutdown: graceful
spring:
lifecycle:
# 配置优雅关闭宽限时间，即项目在30s都没处理完，则进行强制关闭
timeout-per-shutdown-phase: 30s
management:
server:
address: 127.0.0.1
port: 20000 #建议配置management.server.port端口与server.port外网暴露端口不一致
# 开启shutdown endpoint
endpoint:
shutdown:
enabled: true
endpoints:
web:
base-path: /actuator
exposure:
# 暴露health、shutdown endpoint
# http://127.0.0.1:20000/actuator/health进行健康检测
include: health,shutdown
这时我们只需要在发送停机请求告诉应用，即可优雅停机。发送指令为：
curl -X POST 127.0.0.1:20000/actuator/shutdown
注意：
20000是应用管理端口，保证actuator路径不能暴露给公网，以防止被攻击。
Springboot之Actuator的渗透测试和漏洞利用 - 广陌道人 - 博客园
1.3 MQ和定时任务升级处理
MQ：优雅升级由MQ重试机制保证，但要注意消息幂等处理。
定时任务：由于有的任务处理时间很长，如果按照接口形式处理优雅升级，可能会影响版本正常升级，****建议定时任务发版避开任务高峰期，同时发版期受影响的任务再执行一遍，但要注意任务幂等处理。**
2. k8s对应配置(运维侧)
2.1 配置preStop Hook钩子
preStop Hook 是一个发送到 Pod 中的容器特殊命令或 Http 请求。如果您的应用程序在接收 SIGTERM 时没有正常关闭，您可以使用 preStop Hook 来触发正常关闭。接收 SIGTERM 时大多数程序都会正常关闭，但如果您使用的是第三方代码或管理的系统无法控制，则 preStop Hook 是在不修改应用程序的情况下触发正常关闭的好方法。
ports:
- containerPort: 8080
lifecycle:
preStop:
exec:
command: [ "curl", "-X", "POST", "127.0.0.1:20000/actuator/shutdown" ]
2.2 适当延长terminationGracePeriodSeconds时间
在Deployment做滚动更新时，一旦有新版本的Pod启动，就会删除旧的Pod，一旦Kubernetes决定终止您的Pod，就会发生一系列事件，需要对多个对象（如 Endpoint、Ipvs/iptables、SLB）进行状态同步，并且这些同步操作是异步执行的。
Pod在删除的时候，大致的生命周期如图所示：
image.png
暂时无法在飞书文档外展示此内容
1. Pod状态变更
将Pod设置为Terminating状态，并从所有Service的 Endpoints列表中删除。此时，Pod停止获得新的流量，但在Pod中运行的容器不会受到影响,将会继续处理之前的请求；
2. 执行PreStop Hook
Pod删除时会触发PreStop Hook，PreStop Hook支持Bash脚本、TCP或HTTP请求；
3. 发送SIGTERM信号：
向Pod中的容器发送SIGTERM信号；
4. 等待指定的时间：
TerminationGracePeriodSeconds字段用于控制等待时间，默认值为30秒。该步骤与PreStop Hook同时执行，因此TerminationGracePeriodSeconds需要大于PreStop的时间，否则会出现PreStop未执行完毕，Pod就被Kill的情况；
5. 发送SIGKILL信号：
等待指定时间后，如果容器在优雅终止宽限期后仍在运行，则会发送SIGKILL信号并强制删除。与此同时，所有的Kubernetes对象也会被清除。
具体原因
上述 1、2、3、4步骤同时进行，因此有可能存在Pod收到SIGTERM信号并且停止工作后，还未从Endpoints中移除的情况。此时，请求从Slb转发到Pod中，而Pod已经停止工作，因此会出现服务中断。
解决方法
为Pod配置PreStop Hook，使Pod收到SIGTERM时Sleep一段时间而不是立刻停止工作，从而确保从SLB转发的流量还可以继续被Pod处理，同时需要配合修改最大宽限时间（TerminationGracePeriodSeconds）
最大宽限时间修改示例：
template:
spec:
terminationGracePeriodSeconds: 50
注意：TerminationGracePeriodSeconds 的时间要大于spring中配置的timeout-per-shutdown-phase时间
4. 测试
命令行里执行：
curl -X POST 127.0.0.1:20000/actuator/shutdown
应用日志：
2022-09-16 14:06:39.903, INFO [,,],[Thread-24], o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.909, INFO [,,],[tomcat-shutdown], o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete
2022-09-16 14:06:39.911, INFO [,,],[Thread-24], o.apache.catalina.core.StandardService -Stopping service [Tomcat]
2022-09-16 14:06:39.916, INFO [,,],[Thread-24], o.a.c.c.C.[Tomcat-1].[localhost].[/] -Destroying Spring FrameworkServlet 'dispatcherServlet'
2022-09-16 14:06:39.974, INFO [,,],[Thread-24], o.s.b.w.e.tomcat.GracefulShutdown -Commencing graceful shutdown. Waiting for active requests to complete
2022-09-16 14:06:39.984, INFO [,,],[tomcat-shutdown], o.s.b.w.e.tomcat.GracefulShutdown -Graceful shutdown complete
网友评论