一、什么灰度发布?
1. 概念
灰度发布
是指在黑与白之间,能够平滑过渡的一种发布方式;是按照一定策略选取部分用户,让他们先行体验新版本的应用,通过收集这部分用户对新版本应用的反馈(如:微博、微信公众号留言或者产品数据指标统计、用户行为的数据埋点)以及对新版本功能、性能、稳定性等指标进行评论,进而决定继续放大新版本投放范围直至全量升级或回滚至老版本,也叫灰度放量。
灰度期
灰度发布开始到结束期间的这一段时间,称为灰度期。
A/B测试
A/B测试重点是在几种方案中选择最优方案,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度测试可以算作A/B测试的一种特例。
A/B测试云服务提供商——海外应用:optimizely;国内应用:AppAdhoc(简单够用)、optimizely(相当强大,尤其在native app A/B测试这块)。
2. 类型
web页面灰度
按照ip或者用户id切流。具有随机性,可以控制比例。
服务端灰度
可以做逻辑切换开关,按照相关属性逐渐切流。
客户端灰度
按照用户逐渐推送包,主要是PC端(WIN,MAC)、移动端(安卓,OS)内部大规模内测。
二、为什么要灰度发布?
① 及早获得目标用户的意见反馈,快速验证产品的idea;
② 根据反馈的问题,完善产品功能,提升产品质量;
③ 发现大问题时及时回滚,降低产品升级所影响的用户范围;
④ 让用户参与产品测试,加强与用户互动。
三、如何进行灰度发布
① 确定目标
比如通过让一部门用户先使用产品,从而通过试用结果和用户的反馈来找出产品的不足,从而想办法来提升产品的品质,除了这个目的之外,可能还想要借此机会来推广自己的产品。
② 选定策略
包括用户规模、发布频率、功能覆盖度、回滚策略、运营策略、新旧系统部署策略等。
③ 筛选用户
包括用户特征、用户数量、用户常用功能、用户范围等。可以指定 产品Q群、产品微信群、内部用户、app自升级、换量渠道、不会被抓包的小市场,在这些渠道将灰度包放出去。其中,可控度最强的当属app自升级(查看 升级请求数量、实际升级数)。
④ 部署系统
部署新系统、部署用户行为分析系统(web analytics)、设定分流规则、运营数据分析、分流规则微调。
⑤ 灰度总结
用户行为分析报告、用户问卷调查、社会化媒体意见收集、形成产品功能改进列表。
⑥ 产品完善
⑦ 新一轮灰度发布或完整发布
四、灰度发布常见问题
问题一:以偏概全
① 问题特征:选择的样本不具有代表性;样本具有代表性,但选择样本用户使用习惯并没有涵盖所有核心功能。
② 解决方案:样本选择要多样化,样本的组合涵盖大部分核心功能。
问题二:知识诅咒
我们自己对于自己开发的产品极为熟悉,于是乎想当然认为用户也应当能够理解产品的设计思路、产品的功能使用。
① 问题特征:结果没有量化手段;只依赖于用户问卷调查;没有web analytics系统;运营数据不全面,只有核心业务指标(例如交易量),没有用户体验指标;对结果分析,只选择对发布有利的信息,对其他视而不见。
② 解决方案:产品设计考虑产品量化指标;结果分析依据量化指标而不是感觉。
问题三:发布没有回头路可走
① 问题特征:新旧系统用户使用习惯差异太大,没有兼容原有功能;新旧系统由于功能差异太大,无法并行运行,只能强制升级;新系统只是实现了旧系统部分功能,用户要完整使用所有功能,要在 在新旧系统切换;新旧系统数据库数据结构差异太大,无法并行运行。
② 解决方案:前期产品策划重点考虑这些问题,包括:回滚方案、 新旧系统兼容方案、用户体验的一致性、用户使用习惯的延续性、新旧系统数据模型兼容性。
问题四:用户参与度不够
① 问题特征:指望用户自己去挖掘所有功能(对于一个产品,大部分用户经常只使用部分功能,用户大部分也很懒惰,不会主动去挖掘产品功能);互动渠道单一;陷入“知识的诅咒”,不尊重参与用户意见。
② 解决方案:善待吃螃蟹的样本用户,包括给予参与测试的用户小奖励(例如MS给参与Win7测试用户正版License)、给用户冠以title;通过邮件、论坛、社区、Blog、Twitter等新媒体与用户形成互动;提供产品功能向导。在hotmail最近的升级后的功能tip,gmail的tip都有类似的产品功能导向。在产品中会提示类似于:你知道吗,xx还提供xx功能,通过它你可以xx 。
五、灰度发布举例
Gmail Labs是一个新特性橱窗,用户可以自己选择一些未正式发布的新特性进行体验,不喜欢可以关闭,在这个过程中,吃了螃蟹,也当了Google的小白鼠。
优点:
① 没有强加用户,用户是否愿意当小白鼠完全自愿;
② 新特性不是打包在一起的一个大版本,可以选择某几个喜欢的螃蟹尝尝;
③ 螃蟹不好吃可以扔掉,不用硬吃进肚子里引发肠胃炎。
缺点:
① 要开发一个labs平台实现新特性上架、独立尝试的功能,这可能要改动Gmail的前后台架构;
② 新特性要按照一定规范来写,才能发布到这个平台上,可能会增加一些工作量;
③ 小白鼠用户增多之后,对系统的压力可能会有一定提升,因为每一位用户调用的界面都不一样了。
《马化腾致信合作伙伴:灰度法则的七个维度》
需求度:用户需求是产品核心,产品对需求的体现程度,就是企业被生态所需要的程度;
速度:快速实现单点突破,角度、锐度尤其是速度,是产品在生态中存在发展的根本;
灵活度:敏捷企业、快速迭代产品的关键是主动变化,主动变化比应变能力更重要;
冗余度:容忍失败,允许适度浪费,鼓励内部竞争内部试错,不尝试失败就没有成功;
开放协作度:最大程度地扩展协作,互联网很多恶性竞争都可以转向协作型创新;
进化度:构建生物型组织,让企业组织本身在无控过程中拥有自进化、自组织能力;
创新度:创新并非刻意为之,而是充满可能性、多样性的生物型组织的必然产物。
相关文章:
https://baike.baidu.com/item/%E7%81%B0%E5%BA%A6%E5%8F%91%E5%B8%83/7100322?fr=aladdin
http://www.woshipm.com/pmd/296855.html
网友评论