什么是灰度发布

所谓灰度发布就是将软件新功能版本先发布到灰度区进行可控范围的验证，如果验证结果良好，再进行正式发布，否则回滚灰度区取消发布的一种可靠、可持续的软件发布方法。

灰度发布的核心思想是在不影响软件系统当前版本可用的情况下，对新版本功能进行验证后发布。

什么是灰度区

所谓灰度区，就是一个在生产环境创建出来的和生产环境版本相同的用于部署待验证新版本的环境。

对于前端客户端程序，推送并安装了待验证新版本客户端程序的客户群构成灰度区。

灰度发布关键过程

创建灰度区——>流量控制——>灰度区验证——>正式发布/回滚

如何创建灰度区

灰度区用来对新版本的部署及功能进行验证，灰度发布关键是需要将新版本部署到生产环境，经过验证后进行正式发布。那么在正式发布前，如何进行新版本的部署和验证？这其实是灰度区的创建的问题，那么如何创建灰度区呢？

基于生产环境子集创建

典型的做法就是先将生产环境部分正在运行的集群节点退役，然后部署新版本，从而创建灰度区。在开始验证前禁止生产流量路由到灰度区。

可能的集群退役节点的选择方法有：

1）如果只有一个集群，那么可以选择集群里的小部分应用服务节点（如金丝雀发布选择金丝雀节点一样）。

2）如果有多个集群（如跨IDC多活系统），可以选择其中一个集群退役。

构建一套冗余生产集群

在同一个生产环境中，部署一套完全冗余的集群节点，用于部署新版本构建灰度区（类似蓝绿发布）。取决于冗余集群供给方法，从物理机、虚拟机到容器，其成本逐渐降低、灵活性逐渐提高。

流量控制

灰度发布主要的验证方式是导入真实流量，那么如何将真实流量可控地引流到创建好的灰度区呢？

取决于采用的路由/负载均衡器（Router/Load Balancer）的类型不同，可以采用的引流方法不同：

基于域名路由（DNS）

使用灰度专用域名，将灰度域名配置指向灰度区。这种域名引流的方法要求使用灰度域名访问，增加了域名资源，对外部用户不一定适用。

基于HTTP请求路由

可能的添加灰度信息到HTTP请求的方式有:

1）使用不同的URL Path， 如hello.com.cn/canary/.....，这种方法的缺点是占用了URL path资源。

2）在HTTP Headers或者URL Querystring中增加灰度字段存储灰度信息。

3）基于原始HTTP请求的信息结合一定的路由策略进行灰度引流。如基于cookie里的用户信息，可实现如基于用户白名单、用户区域，或其他用户属性方式的引流策略。

根据上述方法添加的灰度信息，同时在负责七层路由的负载均衡器上基于灰度信息配置响应的引流策略实现引流。

灰度验证

一般的灰度需要进行：环境适应性验证、功能验证、性能验证及用户验证。

环境适应性验证

部署的程序能否正常启动，运行状态是否稳定；对基础架构资源（CPU，内存，IO，网络等）的使用是否正常；虚拟运行环境（如JVM等）运行是否正常等。

通过基础架构资源指标监控工具如promethues等对响应的指标进行监控

通过集成APM工具如CAT，Zipkin，Pinpoint，Skywalking等进行应用程序状态进行监控验证。

功能验证

通过冒烟测试验证程序基本功能；对新增功能和缺陷修复进行UAT；通过导入真实流量，对程序功能进行验证。

性能测试

对应用/服务公开接口的RT，TPS进行监控验证。

用户验证

导入真实流量，进行用户行为数据收集，对用户行为进行分析；对真实用户流量访问产生的业务指标进行监控等；舆论监控等。

正式发布/回滚

当验证结束，需要正式发布，正式发布的方式取决于灰度区是如何创建的。

如果是金丝雀发布的部署方式，首先，对灰度区恢复正式生产环境流量策略，然后滚动无损更新老版本节点。

如果是蓝绿冗余方式构建灰度区，修改路由配置直接将全量生产流量路由到灰度区，将灰度区转为处理生产流量的生产环境集群。

当灰度验证后决定取消发布，灰度区需要回滚。

金丝雀式部署方式需要对灰度区节点回滚，并恢复正式流量路由策略。

如果是蓝绿冗余方式构建灰度区，仅需要关闭灰度区生产流量引流。