通过阅读这篇文章你将知道：

1、A/B测试在产品迭代中为何如此重要？

2、如何展开A/B测试？

与软件产品经理业余奋勉学习，专注自我成长，我是马珍毅。

A/B测试是由数据驱动且科学预测，快速验证的一种有效方法，它可以在规定的范围内，以保证质量，控制成本为前提，在最短时间内，帮助企业找准商业机遇，实现商业收益。

当我与十多位创业公司的产品经理交流后，发现很多人对A/B测试不是很重视，听他们解释主要有两个方面的原因：

1、公司没有A/B测试这方面的意识；

2、公司尽管知道A/B测试，但了解的不够深入所以也无法很好的持续执行。

什么是A/B测试？

假如我们将线上的产品称作A版本，那么针对A版本正进行优化改进的另一个版本就叫B版本，在B版本发布上线后，经过一段时间的测试，我们通过观察埋点数据以评估B版本的效果，最终做出后期决策，那我们就可以将这样一个过程理解为A/B测试。

日常工作中，假设我们有两个方案，如下图所示：

在投入使用后究竟哪个版本的效果最好，我们都不知道，我们只能主观的认为。在很多创业公司，要么由多个人保持相同的意见来决定，要么最终由部门领导或者老板来拍板决定，但如果决策错误有可能会在同类产品的竞争中拖后一大截，或者会有更严重的风险。

决策错误的原因大多都在于决策者们站在一个相对片面的角度上，我们知道一个产品的成功是由多方面的因素组成的，从大的方面来看有市场、产品、运营、政策、资金、时运、企业文化、人才等。若将每个大类在做进一步的拆分又能分出很多来，在如此多的因素影响下决策者自然是难以顾及周全，有的企业甚至对这些影响因素都没有一定的认识。

在创业公司做产品，我们首先会去看竞品有哪些功能，如果觉得挺有意思很好玩，我们开始计划在我们自己的产品中也应该增加这样一个功能，在这种情况下，我们这种主观的认为恰恰会造成我们对自己产品的误判。首先在研究这些好玩的功能的时候，我们与用户的出发点便不在同一个起点，我们觉得是好玩有意思应该会对用户有帮助，而用户想要的并不是好玩有意思而是符合他们的场景下能满足他们的诉求，解决他们的问题。

好比下图，我们想的是种许许多多的草让骆驼吃，当我们种成的时候突然发现，原来在骆驼前面还隔了一面无法越过的墙。

在我们实际工作当中，我们尽管不能规避这些风险，但通过A/B测试却能降低风险。

如何开展A/B测试？

开展A/B测试工作，我们以此通过以下6个步骤分别进行，按照先后顺序依次为发现问题、提出假设、制定方案、投入测试、分析数据、做出决策。

1、发现问题

我们观察产品，或者查阅行业相关资讯，发现我们产品某方面的功能可能不够完善，因为这些功能的不完善，可能是造成我们用户留存低的罪魁祸首。

还或者同事、合作伙伴以及用户反馈了一些功能使用上的问题，经我们验证发现，这些问题可能需要通过产品手段去完善。

2、提出假设

假设我们将这些功能完善，对我们产品的提升有哪些方面，分别提升在多大，在商业层面、运营层面，市场营销、品牌建设、售后服务、客服、合作伙伴等不同的关系人之间会造成哪些影响，假设我们将这些功能完善后，非但对用户的增长没有帮助反而造成了用户的流失，那我们该采取怎样的措施，针对各不同方面的因素我们提出多方面的假设。通过这些假设的真实存在与否，以及假设的风险权重，来决定是否继续接下来的环节。

3、制定方案

方案自是要解决假设存在的问题，假设我们要完善某某功能，那么这个完善的过程究竟是怎样的，调整的逻辑，增加的逻辑，不同角色的使用权限是怎样的，方案是否能满足假设的需要，如果是需要，投入的成本在多大、在保证质量的前提下，需要多少个人来完成且需要多长的时间。

4、投入测试

根据产品类型的不同，用户群体的不同，从而决定了测试的途径，测试的范围，测试我们可分为两种情况。

1）直接测试

假设我们线上的版本是2.5，在2.6版本发布以后，根据产品类型，使用情况来确定测试的周期范围，在个人的项目经验中，当新版本发布后，在一周以内，数据有个明显的下滑，然后突然会爆发式的增长，在两周左右的时间后，数据开始稳定。

另外的一种情况是新版发布后数据依然保持稳定，或者稍微增长，在一周后数据下滑的比之前更为厉害，如果产品经理对此次版本的迭代信心比较大的话，可以将测试周期相对延长，如果后期依然不见增长的趋势，赶快找原因或者切回之前的版本。

2）间接测试

间接测试是一种相对谨慎的做法，比如新版本开发结束后，开始拿少量用户进行测试，如果数据客观发布向所有用户再进行测试。关于间接，这里介绍三种方式：

1）随机抽样

从我们用户群体中随机抽取1%的用户来代表我们所有的用户进行测试，通过这1%的用户的使用情况来预测投入所有用户使用后的整体效果。

2）代表抽样

代表抽样是从特定的用户群体中进行抽样，假设我们对自己的用户群进行了分组，分别为粉丝用户、付费用户、普通用户和流失用户这四个类型，我们从其中一个类别中抽取一部分用户出来，进行测试。

3）聚类抽样

我们用户共分为粉丝用户、付费用户、普通用户和流失用户，聚类抽样就是从这些分类中分别取样，进行测试。

5、数据分析

在测试结束后，观察埋点数据，针对我们假设的问题进行验证。

6、做出决策

以数据分析结果为主要根据，针对测试结果做出决策。

A/B测试的目的是关注产品各方面的数据有效且健康增长，杜绝团队成员的奇思妙想，天马行空，每一次的版本更新都要为某个指标发挥有效价值。

A/B测试将帮助企业在节省人力、财力、物力以及时间的前提下，抓准机遇，尽快在朦胧的迷雾中，摸索一条走向成功的捷径。

---

作者马珍毅，现居江苏无锡，是一家创业公司的互联网金融产品经理，热衷于需求分析、产品设计，用户增长、商业分析，数据挖掘、项目管理、品牌战略、产品运营和市场营销。希望通过个人的知识分享能与更多的产品经理奋勉同行，共同成长！

本文首发于个人微信公众号产品精益讲堂（yichenxs），作者个人微信，yichenbz,个人网站需求分析研习社，QQ交流群：489899046