ABTest

（整理自AppAdhoc A/B Testing使用文档）

A/B 测试入门指南

A/B 测试是什么

1️⃣. A/B测试的本质: 分离式组间试验，也叫对照试验，科研领域（药物测试）中已广泛应用。

简单来说，A/B测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策。

image

A/B测试的应用方式决定了它拥有的三大特性：先验性、并行性和科学性。
先验性： A/B测试其实是一种“先验”的试验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。
并行性： A/B测试是将两个或以上的方案同时在线试验，这样做的好处在于保证了每个版本所处环境的一致性，便于更加科学客观地对比优劣。同时，也节省了验证的时间，无需在验证完一个版本之后再测试另一个。
科学性： 这里强调的是流量分配的科学性。A/B 测试的正确做法，是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免出现数据偏差，使得试验的结果更有代表性。

2️⃣. A/B 测试的使用误区

1. 误区一：轮流展现不同版本

   正确做法： 不同版本方案并行（同时）上线试验，尽可能的降低所有版本的测试环境差别。

2. 误区二：选择不同应用市场投放（随机选取用户测试）

   正确做法： 科学的进行流量分配，保证每个试验版本的用户特征相类似。

3. 误区三：让用户自主选择版本

   正确做法： 让用户展现对不同版本的真实使用体验，企业则应实时关注各版本的数据表现，并根据数据反馈及时调整试验流量。

4. 误区四：对试验结果的认知和分析过浅
   这一误区又包括了两个不同的内容：
   其一，认为只有当试验版本结果优于原始版本时，试验才算成功。
   其二，单从试验的整体数据结果，就推论所有场景的表现效果。

   正确做法： 在分析试验整体数据的同时，需要从多个维度细分考量试验数据结果。

A/B 测试可以用在哪里

尽管A/B 测试可以弥补产品优化中遇到的不足，但它并不完全适用于所有的产品。因为A/B 测试的结果需要大量数据支撑，日流量越大的网站得出结果越准确。通常来说，我们建议在进行A/B测试时，能够保证 每个版本的日流量在1000个UV以上 ，否则试验周期将会很长，或很难获得准确（结果收敛）的数据结果推论。

我们从优化内容和应用场景两个方面说明A/B测试可以用在哪些地方，希望能给你一些启发。

1️⃣. 优化内容

1. 产品UI
2. 文案内容
3. 页面布局
4. 产品功能
5. 推荐算法

2️⃣. 应用场景

1. 广告着陆页
2. Web/H5 页面
3. APP用户体验
4. 媒体广告投放与管理
5. 灰度发布