美文网首页
改变一个细节,做ABTest真的有意义吗?

改变一个细节,做ABTest真的有意义吗?

作者: 开灰机的舒克爸 | 来源:发表于2020-09-24 09:57 被阅读0次

    有个段子,被各种文章和公司进行转载,效果非常好,第一次看到的人都把他奉为圭臬,慨叹这才是Google的方法论,国内的美团方法论或者换个说法唯数据论,都会对这个例子所要表现出来的优秀大加赞叹。

    Google曾经测试过搜索结果页上的蓝色链接,他们测试了整整41种蓝色,最终选定的是那个表现最好也就是指标最好的蓝色,正是因为这个选择,给Google每年多带来两亿美元的利润。

    对于这个例子我觉得大概率google做过这样的测试,但是两亿美元的结论我却有点怀疑。其实在我自己的工作经历中也做过类似的事情,对于一个单一指标进行ABTest,最终选择一个数据最好的作为结果进行全量推广,但后续的事实却让我不得不重新思考这个过程,几乎每次我的测试都出现了同样的结果,那就是随着时间的推移,开始表现很好的模型,后续表现趋于平庸。换一次涨一次,然后逐渐平淡,那么究竟是什么原因导致的数据变好?是否是因为用户觉得新鲜而已,如果结论真的是这样,我们的做法反而应该是更加频繁的更换这些细节,让用户保持新鲜感
    在大公司工作,升职加薪需要业绩,所以,像上面google的案例,经过了大胆假设,后续ABTest小心求证,再到最终优秀的结果,并产生了实际的商业价值,这简直是汇报中不可多得的利器。但每当我看到类似的案例,总会心存一份疑惑,在问出一个问题,事实真的是这样吗?

    相关文章

      网友评论

          本文标题:改变一个细节,做ABTest真的有意义吗?

          本文链接:https://www.haomeiwen.com/subject/bckzyktx.html