A/B测试赋能产品增长

在当下流量红利消退、获客成本升高的背景下，如何使用最少的运营成本和人力资源，充分利用和发掘现有流量的潜力，提升产品的各项运营指标，是一个亟待解决的问题。同时通过对已有流量的观察和测试，找到最佳的产品运营策略和迭代方向，从而可以吸引新用户、留存老用户，延长产品的生命周期。

一、背景与价值

1、在当下流量红利消退、获客成本升高的背景下，如何使用最少的运营成本和人力资源，充分利用和发掘现有流量的潜力，提升产品的各项运营指标，是一个亟待解决的问题。同时通过对已有流量的观察和测试，找到最佳的产品运营策略和迭代方向，从而可以吸引新用户、留存老用户，延长产品的生命周期。

2、A/B测试的意义就在于能够通过流量切分，将产品全部或部分用户无差别分为几组，然后分别赋予不同的产品功能或运营策略，通过一定时间的实验测试，选取适当的指标，然后分析各种并行产品方案和运营策略的优劣，然后进行后续的产品功能迭代和运营策略投放。

3、对于中小型产品来说，尽管A/B测试是充分利用流量的有效办法，但是往往由于其数据能力和用户统计等能力不足，没有条件进行有效的测试。而友盟+移动统计（U-App AI 版）现在已有通过SDK为各类APP提供数据服务和智能分析、推送的能力，在已有的数据能力的基础上，友盟+完全有能力为这些产品开放A/B测试功能接口，并通过A/B测试为这些用户的产品增长赋能。

4、对于友盟+的用户来说，有效的A/B测试是能够节约后续的产品开发资源和运营投放成本的，从这个角度来说，该功能有足够的吸引力，并具有一定的付费和变现能力，因此是值得友盟+进行尝试的。

二、A/B测试核心功能结构

本文针对在友盟+移动统计（U-App AI 版）这款产品中增加A/B测试这一功能，设计了如下核心功能：

A/B测试入口。进入A/B测试入口后，呈现实验概况和实验列表，在这个页面，用户可以点击单个实验进入实验看板、对产品用户进行流量分层以及创建实验。

实验看板。点击单个实验进入实验看板后，用户可以在该页面对实验的各选项进行设置，开发人员可以在该页面查看调试相关的内容，同时，各类实验统计指标通过对比的形式呈现。

流量分层。为了充分利用产品流量，引入流量分层概念，使得部分实验可以同时进行，共用流量。

创建实验。通过填写实验信息、编辑实验内容、编辑衡量指标几个步骤，用户即可自行创建实验。

三、产品形态简述

1、A/B测试入口位置

A/B测试入口位于顶部菜单栏中，点击该按钮，进入实验列表页。

2、实验列表

进入实验列表页后，最上方是该产品进行实验的概况，其中：

实验趋势包括参与实验的当日UV、当日新增用户数、历史累计用户数以及当前进行中的实验数。

流量占用是用户所设置的各流量层的使用百分比，用户可以视情况增加和编辑流量层。

实验流量走势是通过折线图的方式统计参与实验的流量。

4、流量分层

所谓流量分层的概念，意思是说，使用同一流量分层的实验不共享用户，不同流量层之间的用户分桶是独立进行的。比如：若X实验和Y实验同时使用流量层1，则没有用户同时参与X实验和Y实验。若X实验使用流量层1，Y实验使用流量层2，则X实验和Y实验的分桶是互不相关的，用户有可能会同时参与两个实验。

该功能的引入是为了解决多业务方、多个实验并行时流量分配的问题。互补相关的实验可以使用不同的流量层、多实验并行，而相关的实验则需要在同一流量层中进行，使得两个实验互斥存在，这样数据结果才是有效的。

3、实验看板

点击实验列表中的实验名称，即可进入单个实验的实验看板。看板中保留友盟+移动统计（U-App AI 版）中的所有统计指标，包括用户分析、留存分析、渠道分析等，不同的是，这些指标需要根据A/B测试的分组情况，进行多组实验指标的分组显示，在面板中呈现对比效果。

在实验看板中，增加实验设置选项，用户可以在该页面对实验的各选项进行设置，包括实验进行/停止、实验名称、实验描述、各实验分组的流量调整等。

增加实验调试选项，开发人员可以在该页面查看调试相关的内容。

在实时统计一栏中，除了呈现实验概况的几个核心和通用指标对比之外，还呈现用户在测试中定义的各类指标。

4、创建实验

点击实验列表中的“创建A/B测试”，即可创建新的实验。创建实验分为填写实验信息、编辑实验内容、编辑衡量指标三个核心步骤：

填写实验信息。包括填写实验名称、实验描述和流量分层，在该处可以编辑流量分层，点击该按钮分层跳转至编辑流量分层的页面，可以新增和修改流量分层。

编辑实验内容。在这一步可以添加不同的实验组和实验变量，其中，实验变量应该和友盟+给出的SDK以及双方开发人员的定义相统一。

编辑衡量指标。这一步添加实验结果衡量的数据指标，其中包括可以直接获取的单项指标以及需要经过计算得出的符合指标。需要注意的是，此处涉及的指标应该是经过数据埋点、可以统计且可以传至友盟+的数据指标。

四、产品优势及卖点

1、数据互通

对于已经使用友盟+进行数据分析的用户来说，直接由友盟+提供A/B测试能力，可以和已有的产品数据实现互通，数据指标及统计方式等一致化，能够节约数据处理的工作量，更加直观有效的呈现数据结果。

2、可操作性强

通过友盟+提供的移动统计SDK和目标产品关联，整个A/B测试的创建和使用流程几乎不需要代码编写，仅需和开发人员沟通好相关的变量即可，因而该平台更适合产品经理、运营、市场等各职能人员使用，可操作性强。

3、节约开发成本

人群分类、数据统计分析和可视化等相关功能均由友盟+提供，能够有效节约目标产品的开发成本。

4、强大的用户洞察能力

友盟+本身已经具备强大的用户洞察能力，在此基础上进行A/B测试的人群分流和定向投放，能够实现更加精准的测试结果分析和洞察。

5、AI赋能产品增长

利用友盟+的大数据智能分析能力，能够对A/B测试结果进行更加深入的分析，并根据分析结果提供智能化的解决方案建议，由于人工数据分析和人工解决方案制定。

五、后续迭代方向

1、更多样化的实验内容制定

本文所设计的A/B测试功能，实验中仅能从变量的层面制定不同的实验组，这只是A/B测试最初级的实现方式。在后续的迭代功能设计中，可以通过开放更多样化的流量切分接口，实现更加灵活的实验内容制定，从而更加充分利用友盟+的用户洞察和分组能力。

2、智能化的数据指标

对于某些特定领域或特定功能的A/B测试，平台可以提供更加智能化的数据指标，比如电商、直播、内容等行业有固定的数据衡量标准和转化漏斗，若能由平台智能化提供数据指标，则能节省产品和运营人员的工作量，平台也能够由此得到更加标准化的数据分析结果和行业解决方案。

作者：王雅菲

本文为「人人都是产品经理」社区和友盟＋联合举办的“2019「友盟杯」数据分析大赛”中参赛作品，未经作者及平台许可，禁止转载

本文部分数据有脱敏处理，非全部真实数据

有关产品测评大赛合作事宜，请联系邮箱：denis@woshipm.com