1、什么是A/B测试？
是分离式组间测试（对照组、试验组），一种单盲试验。
案例：Amazon（加入购物车流程中，（橙）黄色按钮是点击率最高的颜色，其次是绿色）
2、为什么要使用A/B测试？
利用A/B测试，可以很好地避免产品优化的常见问题。
常见问题：
1、依靠经验主义决策；
2、“后验”导致开发成本高；（后验：产品发布之后，收集数据验证指标。先将产品发布上线，通过埋点采集数据，经过一段时间以后，来分析判断说这个版本是好还是坏）
3、忽视细节改变；
4、流程复杂，周期长。
3、A/B测试特性
先验性
通过部分流量的代表性用户使用，根据他们的表现来决策是否让新版本上线。好处在于，只需通过很少量的样本数量，就能够得出代表全部样本的确定结果，减少损失。
并行性
将两个或更多版本同时上线，节省很多验证的时间。
科学性
要使得相似特征的用户均匀地分配到实验组中，即流量的科学分配；
得到统计结果需要通过统计学的科学统计分析。
4、A/B测试与产品增长
产品增长流程：统计 > 分析 > 改进 > 验证 > 发布
其中“统计 > 分析”，这个阶段“寻找增长机会”。
为什么要用A/B测试验证增长策略（增长曲线）？
找到产品增长与影响因子之间的因果关系。
5、A/B测试能够帮助优化什么？
1、产品UI
2、文案内容
3、页面布局
4、产品功能
5、推荐算法
6、A/B测试与应用场景
1、元素/控件层面
2、功能层面
3、产品层面
7、什么时候需要A/B测试
除了最早期，其他时期都需要。
8、A/B测试的误区
1、以为只有试验结果提升才等于成功
2、随机选取用户参与试验
3、一次性改变多个变量进行试验
4、让用户自主选择版本
9、A/B测试流程
A/B 测试需求文档（产品经理或运营人员） > 设计变量和指标（产品经理） > 集成变量和指标（开发人员） > 集成调试（QA） > 上线应用市场（产品经理） > 调节流量运行试验（产品经理） > 解读试验结果（产品经理） > 总结和决策（产品经理）
A/B测试需求文档：
试验目的 > 建立假设 > 变量指标设计 > 试验周期 > 采样范围 > 流量配置
指标设计：
公司业务指标：客单价、付费率
APP产品关键指标：留存率、注册率
试验直接指标 ：点击率、停留时间
流量控制：
初始流量如何设置？1%-3%
试验中需求分配多少流量？
原始组与试验组各分配多少流量？两组流量是否需求相等？
根据版本如何，风险高不高进行权衡
试验数据决策：
数据是否有意义
均值，置信区间，统计功效
如何运用指标决策
10、A/B测试实现的难点
开发：耗费大量人力物力（包括时间、研发、测试、上线）；可能也会遇到很多复杂的问题（如服务器压力等），无法保证用户体验
流量分配：流量分配可能无法保证小流量具有代表性，影响最终试验结果；调整流量可能会出现差错，很难即时生效。
数据统计：统计有效性的评估可能出错，导致试验结果的评估误差较大，不具有代表性。
11、A/B测试使用的地方
大的方向有，
1、导航
2、文字：结构、语气、格式
3、设计：页面布局、图片、颜色
具体的有，
1、主页：导航、轮播图、Banner、CTA
2、产品页：产品图、评价与评论、产品推荐
3、购物流程：注册流程、交叉购买
12、测试工具
Appadhoc
Optimizely
VWO
Abtasty
注：以上内容来源于“三节课”的公开课《给产品运营的技术课：A/B测试和灰度发布》。
再注：以上整理内容仅为个人觉得相对有价值的，并非一定正确，供参考开阔一下思路，这里是笔记。欢迎交流~ :)
by 鲤洋
2016.11.21
网友评论