关于 ABtest

ABtest一个总的目的和意图是，判断哪种种UI或rerank策略更优，通过事实的依据（ CTR或下单率）判断哪种策略更符合用户的习惯和需求。

一、需求驱使

我们经常会面临多个设计方案的选择，比如app或pc端某个界面的某个按钮是用红色还是用蓝色，是放左边还是放右边。传统的解决方法通常是集体讨论表决，或者由某位专

家或领导或文青来拍板，实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的，但A/B 测试（A/B Testing）可能是解决这类问题的一个更好的方法。

所谓 A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计目标。

下面看一个例子：

在展示“格林秀上午酒店”这个poi时有客户端两种UI：

方案A：如左图，评分展示星状图片，消费人数再右边； 

方案B：如右图，只展示评分分数，后边添加消费人数；

我们很难知道那种方案比较好，那我们可以做个实验，把a和B方案同时放到线上的生产环境，让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用报表如下图，通过大自然的优胜劣汰法则，我们可以通过CTR或下单率等指标看哪个方案更符合设计目标。

A / B测试，即有两个即将面对大众的设计版本(A和B)。通过小范围发布，得到并比较这两个版本之间你所关心的数据(转化率，业绩，跳出率等)，最后选择效果最好的版本。

对于互联网产品来说，通过A/B测试提升点击转化率，优化获客成本已得到越来越多的关注。以获客环节为例：许多产品都会在百度、头条等渠道投放落地页广告，以完成新用户的注册转化，而落地页效果的好坏，会直接影响转化率和获客成本。

以每月200万投放费用为例，如果通过A/B测试将落地页的注册转化率有效提升20%，相当于每月能多获得价值40万推广成本的新用户。

二、系统模型

abtest实验可以分成两种，客户端client实验和服务端server实验，客户端实验一般来说只是UI上的实验，比如上面的例子，纯粹是展示端的策略；而服务端的实验是返回给client数据的内容做实验，比如推荐的策略，订单列表rerank策略等。

三、A / B测试流程

运行A / B测试实验的正确方法是遵循科学过程。它包括以下步骤：

> 研究您的网站数据：使用Google Analytics（分析）、百度分析等网站分析工具，并在转化渠道中找到问题。例如，您可以识别跳出率最高的页面。假设您的主页的跳出率非常高。

> 观察用户行为：利用访客行为分析工具，如Heatmaps，Visitor Recordings，Form Analysis和On-page Surveys，并查找阻止访问者转换的内容。例如，“CTA按钮在主页上不突出”。

> 构建假设：根据访问者行为分析工具的见解，构建旨在提高转化率的假设。例如，“增加CTA按钮的大小将使其更加突出，并将增加转化。”

> 测试您的假设：根据您的假设创建一个变体，并且A / B对原始页面进行测试。例如，“A / B测试您的原始主页针对具有较大CTA按钮的版本”。根据每月访客数量，当前转化率和转化率的预期变化计算测试持续时间。（在这里使用我们的贝叶斯计算器）

> 分析测试数据和绘制结论：分析A / B测试结果，并查看哪些变化带来了最高的转化。如果变化中有明确的赢家，请继续执行。如果测试仍然不确定，请返回到第三步并重新设计您的假设。

> 向所有相关方报告结果：让营销，IT和UI / UX中的其他人了解测试结果和生成的见解。