A/B test

一、A/B 测试是什么？

A/B 测试的本质是分离式组间试验，也叫对照试验。简单来说，A/B 测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下（控制变量），让用户看到不同的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策。

二、A/B 测试的三大特性

1.先验性：

A/B 测试属于预测型结论，通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，这样就可以用很少的样本量就能推广到全部流量可信。

2.并行性：

A/B 测试将两个或两个以上的方案采用控制变量法同时在线试验，便于科学的对比优劣，同时，节省了验证的时间。

3.科学性：

这里强调的是流量分配的科学性，A/B 测试是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免出现数据偏差，使得试验的结果更有代表性。

二、A/B 测试统计学原理

A/B 测试是一种对比试验，而试验就是从总体中抽取一些样本进行数据统计，进而得出对总体参数的一个评估。可以看出，做试验并从试验数据中得出有效结论的科学基础是统计学。

三、A/B 测试使用误区

1.轮流展现不同版本

比如，某广告主为了提升着陆页的转换率，将不同的广告版本进行轮流投放展示，但这种做法不能保证每个版本所处的环境相同，不同的时间段，受众群体不同，以至于导致最终的效果无法确定原因。

正确的做法应该将不同的版本方案同时上线试验，保证A/B 测试的并行性，尽可能的降低所有版本的测试环境差别。

2.选择不同应用市场投放（随机选取用户测试）

对于一些已经意识到数据先验重要性的企业来说，为了验证新版本对于用户使用的真实影响，可能会选择将不同版本打包，分别投放到不同地应用市场，当发现其中的某版本的数据表现的更好，就决定将该版本全量上线。更有甚者，会随机选取一部分用户进行前期试用，根据数据反馈迭代版本。这都违背了A/B 测试的科学流量分配原则。

3.让用户自主选择版本

不少企业会在新版的页面上留下返回老版本的入口，让用户自主选择使用那一版本，通过收集返回按钮的点点击率来判断最佳版本。但该思路不利用统计用户在新版的行为数据，用户离开新版本可能不是因为新版体验不好而是习惯了使用老版本，最终导致试验结果的不准确。

正确的做法是让用户展现对不同版本的真实使用体验，企业则应实时关注各版本的数据表现，并根据数据反馈及时调整试验流量。

4.对试验结果的认知和分析过浅

其一：认为只有当试验版本结果优于原始版本时，试验才算成功。

其二：单从试验的整体数据结果，就推论所有场景的表现效果。

正确做法是在分析试验整体数据的同时，需要从多个维度细分考量实验数据的结果。

四、A/B 测试可用在哪里

1.优化内容

产品 UI ：不同行业的产品需要不同的风格，同时还要去企业的品牌相得益彰。利用A/B 测试优化UI 能给用户带来更好的交互体验和视觉感受。

文案内容：用户阅读到的文案内容，贯穿一个产品的所有部分，这些部分可以尝试变化文案内容，测试不同方案的试验结果。

页面布局：有时不需改变其他，只调整布局排版，就可以出现增长的效果。

产品功能：再给产品上线新功能前，使用A/B 测试，以验证功能的使用情况和效果。

推荐算法：基于内容的推荐算法、基于协同过滤的推荐算法、基于关联规则的推荐算法，最终提高用户的使用黏性。

2.应用场景

广告着陆页、Web/H5  页面、APP用户体验、媒体广告投放与管理、灰度发布。