https://blog.csdn.net/weixin_38753213/article/details/100933667
ABtest是是什么：
ABtest工作原理
进行a/btest 的目的是什么
A、Btest流程
abtest简历（结合Python实现）
A/b test中要知道的统计学知识
1、ABtest是什么
A/B测试（也称为分割从测试或桶测试）是一种将网页或应用程序的俩个版本相互比较已确定那个版本能更好的方法，AB测试本质上是一个试验，其中页面的俩个或多个辩题随机显示给用户，统计分析确定哪个辩题对于给定的转换目标（指标如CTR）效果更好
当用户访问页面时，如上图灰色按钮（控件）和箭头所指红色按钮（变体），利用买点可以对用户点击行为数据采集，并通过统计引擎进行分析（进行ABtest），然后可以确定这种更改(变体）对于给定的指标*（这里是用户点击率CTR）产生正向影响负向影响或无影响。
实验数据结果可能如下：
进行A/Btest的目的是
A/Btest可以让个人，团队和公司通过对用户行为结果数据不断对其用户体验进行仔细更改，这允许他们构建假设，并更好的了解为什么修改的某些元素会影响用户行为，这些假设可能被郑敏是错误的，也就是说他们对特定目标的最佳体验的个人或团队想法利用A/Btest证明对用户来说是行不通的，当然也可能证明是正确的。
1、确定目标：目标是用于确定变体是否比原始版本更成功的指标，可以是点击按钮的点击率，连接到产品购买的打开率，电子邮件注册的注册率等等
2、创建变体：对网站原有版本的元素进行所需的更改，可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。
3、生成假设：一旦确定了目标，就可以开始生成A/B测试想法和假设，以便统计分析他们是否会由于当前版本
4、收集数据：针对指定区域的假设收集相对应的数据用来做abtest分析
5、运行试验：此时，网站或应用的访问者将被随机分配空间或变体，测量，计算和比较他们与每种体验的相互作用，以确定每个用户体验的表现
6、分析结果：试验完成后，就可以分析结果了，A、Btest分析将显示列个版本之间是否存在统计新显著差异
5、A/Btest简述：
某司业务介入了的新推荐算法，新推荐策略算法开发完成后，在全流量上线之前要评估新推荐策略的优劣，所用的评估方法是ABtest，具体做法是在全量中抽样出俩份小流量，分别走新推荐策略分支和旧推荐策略分支，通过对比这俩份流量下的指标（这里按用户点击衡量）的差异，可以评估出新策略的优劣，进而决定行测略的是否全适合全流量
实例A/Btest步骤
指标：CTR
变体：新的推荐策略
假设：新的推荐策略可以带来更多的用户点击
收集数据：以下B组数据为我们想验证的新策略结果数据，A组数据为旧的策略结果数据，均为伪造数据
分析结果（Python）：利用 python 中的 scipy.stats.ttest_ind 做关于两组数据的双边 t 检验，结果比较简单。但是做大于或者小于的单边检测的时候需要做一些处理，才能得到正确的结果。
很明显，策略B的均值大于策略A的均值，但这就能说明策略B可以带来更多的业务转化吗？还是说仅仅是由于一些随机的因素造成的
我们是想证明新开发的策略B效果更好，所以可以设置原假设和备择假设分别是：
H0:A>=B
H1:A<B
6、A/B test需要注意的点
1、先验性：通过低代价，小流量的试验，在推广到全流量的用户
2、并行性：不同版本，不同方案在验证时，要保重其他条件都一致
3、分流科学性和数据科学性：分流科学是只对AB俩组分配的数据要一致，数据科学性是指不能直接用均值数据科学性是指不能直接用均值转化率、均值点击率来进行AB test决策，而是要通过置信区间、假设检验、收敛程度来得出结论。
7、A/Btest中要知道的统计学知识
上述文章只是从应用的角度介绍来AB test的一些内容，当收集好数据之后做推断性统计分析你可能需要具备以下知识，这里限于篇幅不做介绍，自行查阅统计学书籍阅读，可参考《统计学》贾跃平，可汗学院统计学等书籍和视频。
1、点估计
2、区间估计
3、中心极限定理 （样本估计总体的核心，可以对比看一下大数定理）
4、假设检验
其中假设检验部分为核心，其他辅助更好的理解该部分内容，比如区间估计可以理解为正向的推断统计，假设检验可以理解为反证的推断统计，关于假设检验本身，你可能还需要知道小概率事件、t分布、z分布、卡方分布、p值、alpha错误、belta错误等内容。
网友评论