渠道后台之AB测试方案

场景描述

渠道投放同学会按照“计划”、“单元”、“关键词”进行落地页的投放管理。比如“信用卡办理”关键字会通过一个有明显信用卡办理的字样的落地页来进行承载，指引用户完成注册、办卡流程的处理。那具体什么样的落地页最优？哪些因素影响最终落地页的转化率？需要先验知识和实验表现共同决定。
落地页的转化率受用户、上下文环境信息、落地页质量三方面因素的影响。

有以下几个因素影响落地页的质量：

1. 社会认同
2. 权威性
3. 稀缺性
4. 亲密程度
5. 承诺一致性
6. 紧迫性
7. 互惠

上下文信息的影响因素有

1. 地域定向
2. 时间定向
3. 搜索词定向
4. 新用户定向

用户影响因素：

1. 人口属性定向
2. 用户行为定向
3. 用户标签定向

究竟哪一些方面的优化能够对最终的转化率甚至是收益有作用，则需要经过线上的真实用户表现才能评判？如果能够自动根据这些因素生成一系列的方案供投放同学选择，同时能够评估出哪个因素对结果影响更好就更佳了。

渠道投放人员可以基于AB测试的功能快速的验证哪个落地页更好，快速找到甚至系统自动的找到某个场景下最优的落地页设计方案。

AB设计的目标

更多：同时能支持多个实验同时运行。不同的实验有不同的要求，比如有些实验需要特定的流量要求，如只需要针对中国的用户做实验测试。还有的实验可能是需要定量的流量效果才能达到统计学上的区分。

更好：按照信念假设进行实验的过程越来越多，同时有多种实验在线上处于验证，线上的真正运行的实验需要是最优的。需要系统具备快速评估各个实验的表现情况，快速的发现并剔除掉不好的实验。实验报告必须符合可阅读和可执行的目标，不同的分组中的评估指标需要一致，同时需要快速能够得到最新的结果反馈。

更快：AB测试实验功能需要易用，能够基于现有的平台的快速建立自己的实验，一些跨平台的操作需要尽可能的融合到AB测试平台中。自助式的快速开发实验涉及的数据指标和实验效果的归因分析。

AB支持的场景

1. 落地页的静态AB能力。同一个投放URL支持多个素材页面，按照流量随机分配的原则进行素材选择，比如A素材40%，B素材50%，C素材10%。
2. 动态路由能力。能够按照“搜索词”等上下文信息路由到不同的素材页面，能够按照“地域”、“时间”路由到不同的素材页面。支持规则和算法的动态路由能力。
3. 根因报告分析能力。能够自动分析出哪些因素对结果的影响是正向的，哪些因素对结果的影响最大。

核心能力需求

1. 实验管理。创建、删除、实验分组、查询的建立、实验上线、实验暂停
2. 分组管理。分组的新增、删除
3. 实验分组的流量调整（流量调整按照用户影响最小的原则进行）
4. 实验准入条件的设置
5. 多实验的同时开展
6. 实验效果的实时报告、离线报告查询
7. 实验权限管理
8. 对接算法平台的能力

实验分组管理

实验的创建

实验的创建流程用来引导创建一个实验，当前主要的实验都是针对落地页面级别的。便于后面可能有新的实验类型的扩展（不同的实验类型流程可能差异较大），当前实验创建时只能选择“落地页实验”。
基本信息：实验名称、实验描述、实验创建者
准入条件：落地页的ID（广告平台投放的链接中携带的ID）、渠道号，高级配置包括：准入时间段、地域信息

流量分配策略

当前支持sessionid分流、随机分流的策略、智能流量分配策略（智能流量分配时不能人为的进行流量的调整）
智能流量分配主要针对搜索词的场景，根据数据分析表现可以设置不同的搜索词等上下文信息路由到不同的素材页面，一期采用算法平台接口的方式来调用流量分配服务。

分组操作

分组创建：用于创建实验的分组信息，包括分组信息的名称、分组的素材ID、流量大小、分组准入条件
流量调整：调整各个分组的流量大小
分组添加：也可以对已经具有分组的实验继续添加新的分组信息，当然也支持分组后的流量调整

实验操作

实验创建完毕后，可以选择实验的上线、上线的实时可以进行暂停、删除，实验支持修改、查询检索

实验报告

实验报告是实验非常重要的一个环节，用于及时的查看评估实验中不同分组的情况，为后面落地页素材的优化、流量调整、实验操作提供数据决策。
实验报告需要支持同一视角下不同的分组素材的数据表现情况，数据的查询支持在线和离线两个部分，实时数据用于评估整个落地页的实时数据表现情况。
实时数据包括（用于查看三天左右的数据）：

1. 页面曝光数
2. 手机号填写
3. 验证码获取
4. 验证码输入
5. 注册按钮点击
6. 新用户注册成功数
7. 老用户注册成功数
8. 新用户登录率
9. 老用户登录率

离线数据除了上述数据外，还可以增加成本数据和收益数据、比如ROI、竞价等信息，当前保存三个月的数据。
实验报告报表通过数据化可视化平台创建，AB模块进行页面的嵌入即可，减少数据的开发成本。

根因分析

依赖：素材的制作已经可以完成某块化开发，任何一个素材均可以通过一系列的标签刻画，如以下列出的一些

1. 素材页面屏数
2. 按钮颜色
3. 按钮文案等

由于一个实验会设计到多个分组，每个分组会对应一个素材，根据具体的素材各个环节的数据指标利用相关的算法分析出哪些因素对结果的影响最大，同时可以根据这些数据，系统给出一些合适的素材的搭配，供用户选择完毕后再进行下一轮实验。

用户进入素材根因分析页面，选择需要评估的指标（登录率），点击“分析”后，系统给出排名最优的一些组合的列表，点击智能推荐后生成一批合适的素材候选集。