参考一个自 https://www.unifyingdatascience.org/html/evaluating_real_studies.html

---

在一个研究中， 当我们发现干预措施产生了效果 （比如投放广告，之后销量上升）， 我们就会觉得二者之间有一定相关性。如果以下2个条件也满足了， 我们就可以说实验结果是对 Average Treatment Effect (ATE) 的一个很好的估计值：

• Treated and untreated groups 之间没有 baseline 差异 (是否看广告的人之间没有差异)
• Treated and untreated groups 对 Treatment 的反应相同 （看不看广告的人， 对广告的反应一样）

当然， 并不是所有的 Baseline 差异都会影响研究结果， 对Baseline 的质疑应当包括如下3个部分

• 2群人之间有什么样的差异 （Treated and untreated groups）
• 这个差异与 被干预组 有关
• 这个差异， 会导致 2群人对干预手段响应不同。

举例

例1

假设，我们选择两群同龄学生， 让他们花 10分钟去记忆 100 个长单词， 然后默写出这些单词。 两群人区别之处在于， 其中一组学生在记忆单词的时候听莫扎特， 另外一组学生什么也不听。 实验想获取的结论是， 莫扎特音乐是否有助于短期记忆。

事后发现，由于没有随机分组， 其中一组学生平均比另外一组学生高 2cm （虽然两组学生来自于同一年级）（统计显著）。 不过， 由于这个区别很难直接与听写结果产生联系， 所以并没有影响到实验的有效性。

例2

一家公司A， 在上海本地媒体上打出降价促销的广告 （降价 15%）， 结果三个月的观察， 上海本地销量上升了 40%， 抛出费用，公司依然获得了不错的收益。 这个时候， 就有人建议将同样的促销手段推广到湖北。这时就遇到了 Baseline 差异的问题

• 两地消费者消费能力不同
• 消费者经济状况使得二者对促销敏感度不同
  以上两种差异， 都可能对在上海的降价行为是否能成功推广到湖北产生合理质疑， 如果想验证这种质疑，就需要引入其他信息。 （两地消费者对产品的消费能力， 其他产品在两地促销后的反应等等）