增长黑客概念近年来很火，网上流传着很多做用户增长的各种方法论和案例，但很少有一次完整的增长过程描述，今天就把我在站酷网做增长的过程给大家做下复盘，分享下如何用A/B测试进行增长实验。
实验名称
首先为实验命一个名，本次实验名称为：内容详情页内容消费转化测试。本次实验的对象是针对站酷小程序端的所有用户，目的是让用户消费站酷网小程序上的内容，而且是在内容详情页就进行内容点击消费。
实验假设
描述实验假设条件和满足条件后的预估效果。假设这个实验很成功，我们预测用户在详情页消费内容转换率，能提升10%，因为：
用户可以从内容列表或单个分享的内容打开内容详情页，有打开的行为一定程度上能说明用户对内容是感兴趣的。假设用户打开查看后发现内容并不感兴趣，就会直接退出，不会消费内容。
如果我们让用户进来，查看这个内容之后能推荐相关的内容，可能会引起用户兴趣，预计会提升内容消费点击率。
实验设计
出于成本和快速验证的考虑，本次实验由我司服务端同学开发，采用记录用户Cookie的方式简单开启实验。本次实验中，会给每个访问的用户（第一次打开小程序）归类，如Cookie尾数为偶数的划为一组，尾数为奇数的为另一组，等分成2组，每组分流50%，第一组看到实验组1页面，第二组看到实验组2，然后取未更新前一段时间的数据为对照组，对比试验组2和实验组1和对照组的点击转化数据。
对照组，该组看到的页面，就是新版更新前的页面，和实验组1页面一样，只是数据采集的时间是小程序新版更新前。
实验组1，该组看到的页面，就是站酷网小程序新版前的内容详情页，没有任何变化。如下图：
实验组，该组看到的，是把站酷网小程序内容详情页的相关推荐改成大卡的样式，可点击区域视觉上增大了，这个区域为用户呈现内容详情页的创作者的相关内容。如下图：
用户点击卡片区域可跳转至下一个详情页，继续查看内容。
实验指标
定义实验观察的数据指标。本次实验定义指标为：每组用户，从打开详情页到消费内容的额转换率百分比。
实验时间
本次实验时间，2018年6月11日-2018年6月17日
另外，为了对比试验，对照组会取2018年5月28日到2018年6月2日期间的数据，作为对照数据。
实验打分
从预期影响、所需资源、成功概率分别给实验打分。预期影响为高，期望这个模块能比普通的信息流模块更多提升点击转化率。所需资源较少，a／b测试的实验逻辑较简单，开发成本低。成功概率高，因为站酷网app已有该模块（但并未有数据对比）。总的综合打分为：高
实验结果数据
本次实验观察的数据主要有，一个是对照组的内容转化率，作为实验中的额参照数据；另一个是实验组的内容转换率，作为主要观察指标。
内容转换率。3组数据表现如下：
实验结论分析
对实验结果数据做出简单分析，得出一定结论。具体如下：
实验组2采用的大卡片的样式，能提升用户的点击转化率，从数据上看基本达到预期，提升了10%以上。
后续计划
本次实验完成后，预计在观察一段时间以后，实验组2的样式会全面覆盖小程序。
以上是本次实验的简单总结，总体来说还是比较成功的，虽然产品只是改动了细节，但是对数据的影响还是意义重大的，对以后进行其他实验打下了基础。
网友评论