美文网首页
A/Btest小结

A/Btest小结

作者: 若若要吃饭 | 来源:发表于2017-03-06 22:10 被阅读459次

概述:

目的:为了明确某个变量是否会对某个现象/最后结果起作用

基于假设:个体的潜在结果不受处理的影响(即无干扰);处理对个体的效果相同

A/Btest流程:建立假设——>定义衡量标准——>验证假设——>获取经验——>迭代

输入——用户属性、交互数据、业务数据(比如分配、买单等)

输出——目标值的变化量(①通过平均值来计算、②通过拉平数据总量来计算)、显著性、用户的操作路径、转化漏斗

注意事项

①流量分割科学:确保公平,具有可比性,通常采用的方法有完全随机(比如针对某个memberID进行取模)或者分层随机(通过协变量对总量先进行分层,然后再进行随机测试)

②结果科学:合理的置信度,如果不影响测试个体总数,可以通过平均值来衡量,如果会影响测试个体总数,则最好通过拉平数据总量来计算(即测试组和对照组分别扩量至全体对应的总值)

③开始使用系统之前可以先进行A/A测试

④要充分考虑到时间的影响:新进入测试的流量的平均点击会比原有测试对象的平均点击低

⑤及时进行扩量,BTW,用A/Btest平台把方案固化下来是不合适的

相关文章

  • A/Btest小结

    概述: 目的:为了明确某个变量是否会对某个现象/最后结果起作用 基于假设:个体的潜在结果不受处理的影响(即无干扰)...

  • A/BTest

    A/BTest设计原理 将测试内容定为两组流量的唯一变量,保证其他条件相同,通过对比测试,观察被测试的部分是否达到...

  • A/B test for WARBY PARKER

    A/Btest for WARBY PARKER JiahaoYang 4/7 1.Elementsthat ar...

  • 9种常用的数据分析方法

    公式拆解、对比分析、A/Btest、象限分析、帕累托分析、漏斗分析、路径分析、留存分析、聚类分析 一、公式拆解 所...

  • 有意思的A/BTest

    当年Facebook计划推出他们的“Like”按钮时,他们担心会不会发生“自相蚕食”的结果——会不会因此反而减少了...

  • 如何通过A/Btest迭代社群运营玩法模型?

    主题:通过A/Btest迭代社群运营玩法模型 分享人:李军龙(Alger) 3年互联网运营人,教育行业从业者,专注...

  • iOS模块化灰度 A/BTest

    iOS模块化灰度改造 服务能力 To 技术: 新功能模块级别的 灰度发布. 线上版本回退老版本的能力. 一个App...

  • 影响好友通过率A/BTest

    一、测试背景: 目前在戴尔官方历史数据库有一批只知道电话号码的用户数据,想通过企业微信统一添加成为好友。 二、测...

  • iOS打包加速与组件二进制化

    iOS打包加速与组件二进制化 随着iOS模块化灰度改造方案iOS模块化灰度 A/BTest的实施,以及组件化拆分的...

  • iOS A/B Test 方案探索

    引子 公元2016年末,2017年初,某做旅行产品的互联网公司内,产品经理疯狂的提 A/BTest 需求,以至于该...

网友评论

      本文标题:A/Btest小结

      本文链接:https://www.haomeiwen.com/subject/cigugttx.html