2020-08-11

什么是A/B测试？

A / B测试（也称为拆分测试）是一种营销策略。通过该策略，广告主可以找到最适合目标受众的广告标题，文案，素材，行动号召或以上各项的组合。前提是，有数据反馈。

为什么我们要做A/B测试？

敏捷营销强调“不做假设”，所以当投放的媒体有较快的数据反馈时，与其讨论客户在应该使用红色底的落地页还是绿色，没有方向的多次易稿，不如将两个颜色的落地页都投放出去，看看转化效果，再把广告预算分配到好的变量组成的广告计划中。

因为没有人会预先知道，谁会喜欢在什么广告位看到什么样式的创意广告。

本文全文一共2210字，阅读时间3分钟。

A/B test 有5个步骤

确立清晰的目标

定义变量

搭建广告组

确定测试的时间长短

分析变量表现并重新组合

确立清晰的目标

这听起来像一句正确的废话，但这句话应该反过来理解——不要做有悖广告是为业务带来增长的最终目的。我们帮助过一家大型游戏进行A/B测试为基础的信息流投放，而我们的做法，是将该产品多个账号的历史投放数据全部输入进入ANU，分析“转化成本“表现最好的变量条件，筛选了超过60个包括广告位、媒体、素材、文案、地域、年龄、人群包在内的变量，超过一定消耗且”获取成本“最低的变量，交叉组合生成了多条广告计划。

产品投放到中期后发现，转化成本确实有所下降，但是紧跟着后端的付费也跟着大幅下降。（游戏产品不只看获客的成本，更需要专注于用户整体生命周期价值的优化）通过分析我们发现，我们的目标设立错了。转化成本低的变量，包括1.）“不充一分钱，装备都齐全”的文案，2.）女性用户（在游戏端付费意愿低）3). 三线城市人群等等，吸引来的用户虽然成本更低但是都是付费意愿更低的人群。这个问题在我们用“LTV0（新用户收入付费额）”取代“付费用户成本”作为A/B测试目标后迎刃而解，但是意识到这个问题之前我们已经浪费大量的广告预算在错误的优化方向上。

所以，一味地追求错误目标的优化，会让A/B测试在一开始走上歧路。最后造成的不必要的成本浪费是完全可以避免的。设立与业务目标相关度更大的指标，即使前期需要的对接时间更长，即使数据有延迟，也是所有A/B测试开始的必经之路。

定义变量

将清晰的目标确立完成后，需要筛选对营销活动最后产出有影响的变量组们。决定是否纳入变量组的另外一个判断标准是变量之间是否会造成超过20%以上的差距，比如在投放化妆品时，比如不同的年龄之间可能存在超过300%以上的不同表现，而不同广告位对于这个投放产品其实对最后的营销评估影响不大。所以应该将营销预算集中在变量之间差别最大的变量组中。

以下是值得企业花费营销预算进行A/B测试的变量列表，行业不同，偏重不同：

创意：

广告位

素材

图片 或者 视频

文案（价值主张、长短、是否包含动态词包、关键字）

行动号召

落地页

定向：

精准人群包

地域

年龄

性别

行为兴趣

偏好

手机价格

其他设置

出价

投放模式

投放时段

自动化策略

3. 搭建广告组

为更好地进行数据数据和控制变量，每一个A/B测试的广告组都应该只包含一种变量。也就是每一个广告计划中只包含单一变量。

假设今天设计师给了我3个全新的素材，同时我需要测试3个长短不一的文案，前期数据告诉我有5个人群的效果比较好。那么在创建广告计划时，我们一共需要创建45个广告计划（3×3×5），这要求广告优化师和运营人员大批量的进行广告计划的搭建，这些枯燥重复的劳动时间大大限制了优化师对创意的思考和客户需求关注的精力。

使用ANU，三步完成大批量跨账号的A/B测试广告计划搭建：

1. 使用A/B测试模板

2. 选择需要拆分测试的变量

3. 一键批量创建

使用ANU前

使用ANU后

4. 测试时间长短

确定A/B测试运行时长有三个因素要考虑，一是收集到足够的样本量，二是时间段内的用户行为有没有特殊性，三是结果的稳定性。过早的停止实验，由于新的营销活动带来的新奇效应（novelty effect），在营销推广的第一阶段，数据通常都会表现较好。而对产品的新鲜感或者对素材的厌倦，会让营销活动的效果回归正常。所以不管是品牌方的敏捷营销人员还是乙方的广告投放代理商，在测试只运行了几天的时候就将好或者坏的结果告诉老板和同时，对项目推进没有任何好处。不管是好消息带来错误的期待最后导致营销预算的浪费，还是悲观导致的营销项目过早结束导致的机会错失。

在没有充分了解"统计置信度"这个概念之前盲目地开始A/B测试甚至比完全不做任何A/B测试的危害更大。一个没有达到95%以上置信区间的A/B测试中随机事件发生的可能性为企业带去的"决策依据"可能是毁灭性的,因为企业看到了数据,尽管这个数据有可能有十分巨大的随机性的。

一般来说，在不考虑广告计划衰退的前提下，一组A/B测试至少需要跑7-14天。

所以千万别掉入这个陷阱，在A/B测试的结果数据还没有趋于稳定时,此时你看到的不过是均值回归。也就是说，如果某一指标在第一次评估时出现极端结果，在后续的观察中，该指标会逐渐趋向于平均值移动。小样本尤其容易生产极端结果。

5. 分析变量，并重新组合

跨账号的变量表现也可以在A/B测试完成后的第一时间完成多账号的数据聚合分析，更敏捷地发现最佳变量组合的盈利点。

在A/B测试时间素材报表、文案报表、或者受众表现中，将创意、广告位、人群中选择最好的变量重新组合成“最优广告计划”，ANU的后台数据显示，优化方向正确的广告计划比账号平均转化成本低至少20%，ROI提升至少超过15%。