美文网首页
A/B text 实例(过程)

A/B text 实例(过程)

作者: 王学习ty | 来源:发表于2018-05-23 11:55 被阅读0次

A/B 测试项目

实验概述:免费试用筛选器

在本次实验时,课程目前在课程概览页面上有两个选项:“开始免费试用”和“访问课程资料”。如果学生点击“开始免费试用”,他们将被要求输入他们的信用卡信息,然后他们将参加免费试用课程的付费版本。14天后,除非他们先取消,否则将自动收费。如果学生点击“访问课程资料”,他们将能够免费观看视频并参加测验,但他们不会获得辅导支持或经过验证的证书,他们也不会提交最终项目以获得反馈。

在实验中,测试了一个变化,如果学生点击“开始免费试用”,他们被问到他们有多少时间可以投入课程。如果学生每周表示5小时或更长时间,他们将像往常一样通过结帐流程进行。如果他们每周表示少于5小时,则会显示一条消息,指出Udacity课程通常需要更多的时间才能成功完成,并且建议学生可能希望免费访问课程材料。在这一点上,学生可以选择继续参加免费试用,或免费使用访问课程材料。

我们的假设是,这可能会为学生预先设定更明确的预期,从而减少因为时间不够而离开免费试用的失意学生的数量- 这不会显著减少学生继续超过免费试用并最终完成课程的数量。如果这个假设成立,可以改善整体学生体验,并提高教练支持有可能完成课程的学生的能力。

转移单位是一个cookie,但如果学生参加了免费试用,那么他们将从该用户id开始跟踪。相同的用户ID不能参加免费试用两次。对于未注册的用户,即使他们在访问课程概览页面时已登录,他们的用户ID也不会在实验中进行跟踪。

试验设计

指标选择

Number of cookies:That is, number of unique cookies to view the course overview page. (dmin=3000)

Number of user-ids:That is, number of users who enroll in the free trial. (dmin=50)

Number of clicks: That is, number of unique cookies to click the "Start free trial" button (which happens before the free trial screener is trigger). (dmin=240)

Click-through-probability:That is, number of unique cookies to click the "Start free trial" button divided by number of unique cookies to view the course overview page. (dmin=0.01)

Gross conversion: That is, number of user-ids to complete checkout and enroll in the free trial divided by number of unique cookies to click the "Start free trial" button. (dmin= 0.01)

Retention: That is, number of user-ids to remain enrolled past the 14-day boundary (and thus make at least one payment) divided by number of user-ids to complete checkout. (dmin=0.01)

Net conversion: That is, number of user-ids to remain enrolled past the 14-day boundary (and thus make at least one payment) divided by the number of unique cookies to click the "Start free trial" button. (dmin= 0.0075)

列出你将在项目中使用的不变指标和评估指标。

Invariant Metrics:Number of cookies,Number of clicks,Click-through-probability
Evaluation Metrics:Gross conversion,Retention(剔除),Net conversion

对于每个指标,解释你为什么使用或不使用它作为不变指标或评估指标。此外,说明你期望从评估指标中获得什么样的试验结果。

测量标准偏差

列出你的每个评估指标的标准偏差。

对于每个Evaluation Metrics,计算标准偏差SD。条件当Number of cookies = 5000 pageview时。(使用的不是实验数据,而是基准数据)
根据基准数据,SD=SQRT( P-pool*(1-P-pool)/N )

对于每个评估指标,说明你是否认为分析估计与经验变异是类似还是不同(如果不同,在时间允许的情况下将有必要进行经验估计)。简要说明每个情况的理由。

规模

样本数量和功效

说明你是否会在分析阶段使用Bonferroni校正,并给出实验正确设计所需的页面浏览量。
利用样本计算器,根据给定的α = 0.05,β=0.2,dmin,BCR(基准数据), 算得是unit of analysis中分母的数量,eg.( net conversion, BCR=0.1093, dmin=0.01)
no use of Bonferroni Correction, because the three evaluation metrics are likely covariant.
得出 27411,需要除以点击概率0.08再乘以2 总样本数685275。由于Retention中unit of dividend跟 unit of analysis 不一致,sd异常大于另外两个指标,导致所需pageview过高在计算duration时会出现duration太长不适合实验,因此剔除此指标。总样本数为满足所有指标中最大的需求

持续时间和暴光比例

说明你会将多少百分比的页面流量转入此试验,以及鉴于此条件,你需要多少天来运行试验。

说明你选择所转移流量部分的原因。你认为此试验对优达学城来说有多大风险?

因为此项实验风险很低,fraction of traffic exposed = 1,duration = 685275/ 40000(pre day)≈18取整

试验分析

合理性检查(Sanity Check)

对于每个不变指标,对你在95%置信区间下期望观察到的值、实际观察的值及指标是否通过合理性检查给出结论。
此处用到实验数据,每列的含义是:
综合浏览量: 当天查看课程概览页面的唯一Cookie数量。
点击次数:当天点击课程概览页面的唯一Cookie数量。
注册:当天免费试用中注册的用户ID数量。
付款: 在当天注册的用户ID的数量,以保持注册14天,从而进行付款。(请注意,此栏的日期是开始日期,即注册日期,而不是付款日期,付款在14天后发生,因此,注册和付款的跟踪时间缩短了14天比其他栏。)

实验中不变指标是否合理,对于Number of cookies,Number of clicks,对照组实验组随机分布,满足P=0.5,可以用SD=SQRT( P*(1-P) / (Ncon + Nexp)), Margin of error =SD*Z(1.96), P就是CI的中心,加减M得出CI边界,再计算Pcon观察是否在CI中。

对于Click-through-probability,计算Ppool, SD=SQRT( Ppool*(1-Ppool) / (1/Ncon + 1/Nexp)), CI中心是diff=0,观察实际diff是否在CI中。

对于任何未通过的合理性检查,根据每日数据解释你觉得最有可能的原因。在所有合理性检查通过前,不要开始其他分析工作。

结果分析

效应大小检验

对于每个评估指标,对试验和对照组之间的差异给出 95% 置信区间。说明每个指标是否具有统计和实际显著性。只计算Oct.11 - Nov 2的数据。
合并计算。Gross Conversion
Pooled Probability = ([Total Enrolments Control] + [Total Enrolments Experiment]) / [Total Clicks Control + Total Click Experiment]) = 0.2086
Pooled SE = Square root of: [Pooled Probability] * (1 - [Pooled Probability]) * (1 / [Total Clicks Control] + 1 / [Total Clicks Experiment])) = 0.0044
Control Gross Conversion = 0.218874689
Experiment Gross Conversion = 0.198319815
Margin of error = [Pooled SE] * 1.96 = 0.0086
D hat = -0.02055
Lower CI Bound: [D Hat] - [Margin of Error] = -0.0291
Upper CI Bound: [D Hat] + [Margin of Error] = -0.0120   
Statistic Significance, Practical Significance

Net Conversion, [-0.0116, 0.0019], No Statistic Significance, No Practical Significance

符号检验

对于每个评估指标,使用每日数据进行符号检验,然后报告符号检验的 p 值以及结果是否具有统计显著性。

网络计算器,P =0.5,because we assume there's no difference.
Gross, success-4, total-23, P-value=0.0026, two-tail      Statistic Significance
Net, success-10, total-23, P-value=0.6776, two-tail      No Statistic Significance

汇总

说明你是否使用了Bonferroni 校正,并解释原因。若效应大小假设检验和符号检验之间存在任何差异,描述差异并说明你认为导致差异的原因是什么。

No use of Bonferroni correction, since two metics have correlation, use Bonferroni will be too conservative.
Result same with Effect Size Test.

建议

后续试验

对你会开展的后续试验进行概括说明,你的假设会是什么,你将测量哪些指标,你的转移单位将是什么,以及做出这些选择的理由。

相关文章

网友评论

      本文标题:A/B text 实例(过程)

      本文链接:https://www.haomeiwen.com/subject/jzfhjftx.html