Trustworthy Online Controlled Experiments Part 1 Chap 3
可能影响实验外部有效的因素
外部有效性是指实验的结果可以向不同人群（例如，其他国家，其他网站）和随时间推移（例如，2％的收入增长会持续很长时间吗？）的程度？
跨人群的推广通常是有问题的；在一个国家可行的实验结论， 可能在另外一个国家就无法使用，但是解决方案通常很简单：重新运行实验。例如，在在美国成功的实验通常也会在其他市场上进行测试，而不是把美国的结果推广到其实市场。
跨时间的推广会更加困难。有时，维持实验要进行数月，以评估长期影响（Hohnhold，O’Brien和Tang 2015）。第19章讨论了如何解决长期影响。基于时间基准的外部有效性的两个主要威胁是首要效应（primacy effects）和新颖性效应（novelty effects）。
首要效应（primacy effects）
引入更改后，用户可能需要一些时间来习惯，因为他们习惯了旧功能，习惯了原来的工作方式。另外，如果使用了机器学习， 那么算法可能还会需要时间学习更好的模型，并且根据预订的周期进行更新，这可能会花费一些时间。
新颖性效应（novelty effects）
新颖性效应是无法持续的效应。当引入一项新功能时，尤其是一个容易注意到的功能，最初会吸引用户尝试。如果用户认为该功能没有用，则重复使用的机会会很小。一开始，新功能可能表现良好，但随着时间的流逝，效果会迅速下降。
《50种经过科学证明的说服力方法》（Goldstein，Martin和Cialdini，2008年）中有一个我们不希望看到的例子。在那本书中，作者讨论了Colleen Szot如何撰写电视节目，打破了家庭购物频道近20年的销售记录。索佐特（Szot）在一条标准的商业广告行中更改了三个词，这导致购买她的产品的人数大大增加：不是大家熟悉的 “操作员正在等待，请立即致电”，而是“如果操作员很忙，请再次致电” 。”作者解释说，这是一种社会证明：观众认为“如果电话线繁忙，那么也像我这样的其他人也在观看此电视广告，他们也会打来电话。”
上面的方法，往往效果很短暂， 因为观众会很快适应商家这种把戏。在对照实验中，分析结果将显示这种方法效果迅速降低。
另外一个例子是， 微软在 2017 年在 MSN网站上增加了一个行, 其中有一个Outlook 按钮, 这样用户可以迅速启动Outlook, 带来更好的 邮箱体验.
image.png
image.png
如预期的那样，该实验表明，与Control相比，Treatment中的更多用户使用了Mail应用程序，但大家并没有预期点击率也会增加。令人惊讶的是，相对于对照组，“治疗”中该链接上的点击次数大大增加了28％。是不是用户特别喜欢这个功能, 因此频繁使用它？并不是。调查显示，用户其实因为Outlook.com无法打开, 所以多次点击该链接。
最后，中国运动鞋制造商倪开伟在Instagram上展示了一条Instagram广告，该广告的假发散布在手机上，如图3.4所示。用户被诱使在广告上滑动以去除头发，其中许多人都点击了。这里的新颖性效应可能很明显。但是，该广告不仅从Instagram上删除，而且该帐户已被禁用（Tiffany 2017）。
image.png
找到首要效应和新颖性效应
对首要性和新颖性影响的一项重要检查是绘制一段时间内的该功能的使用情况，并查看其使用情况是增加还是减少。以上面的MSN为例，单击Mail链接的用户百分比随着时间的推移明显下降，如图所示。
image.png
实验的标准分析其实包含了一种假设, 既: 新功能效果随时间变化是恒定的。上图这种趋势是一个危险信号，它说明效果随时间恒定的假设不成立。这种情况下, 实验需要运行更长的时间等到效果稳定。在很多情况下，如上面例子所示，我们日常的洞察力足以发现问题。这种方法在大多数情况下都是简单有效的方法，但是对于需要长时间运行的实验, 还有一些特别需要注意的地方（请参阅第23章）。
另外一种方法是 将第一天或第二天其效果的用户（相对于一段时间内的所有用户）进行统计，并绘制出一段时间内对他们的效果。
网友评论