Confounding Bias & Selection Bia

Confounding bias [1]& Selection bias[2]的差异与相似处。

之前的文章从直觉上讨论了系统中的各种bias。
其实Selection Bias这个问题并不仅仅是在Causal Inference中有讨论，在单纯的Prediction任务中也有讨论。

• 类似之处：
  很多Causal Inference中的讨论，也把Confounding Bias写作“Treatment-Selection Bias”[4]。它们都会导致直接的inference 变得 invalid。很多CER的研究者，也会混淆Selection bias与Confounding Bias。之前的文章也有一部分误解，之前在Selection Bias项消解中也有讨论【其实它是面向prediction任务的】
• 差异：
  confounding bias compromises internal validity while selection bias compromises external validity.[4]。在一个完整的概率分布中，confounding只是内部的概率可能被无效化（biased) ，因此，可以在分析中进行消解。（adjust for confounding）。
  而selection bias（同Sampling Bias[7]）更多是被事物本身或者实验过程本身客观上导致sample与population的不同带来的bias，所以可以理解为是一个外部的无效化，导致我们从sample中得到的内部的Causality无法generalized到population中[4]。而且这个问题在更多非causality的研究中讨论。[8]

解决办法

• 1、Identifying Confounding Bias & Selection Bias[3]
  拿到一个潜在的confounder，比较adjust for confounding前后的结论变化。If the difference between the two measures of association is 10% or more, then confounding was present[3]
  当然，由于causal discovery无法solely based on data，所以通常这种方法也不是非常有效，根本上还是需要我们统计外的知识。当然，如果我们有能力去获取一些无偏数据，那么当然是可以对比的（譬如在互联网的一些业务场景中，稍微花一定的成本获得无偏随机数据是可以接受的）

• 2、Control of Confounding bias
  a、Regression Adjustment Model：我们将Confounding variable加入模型中，同时注意剔除那些Collider，即可得到调整后的模型，便可以此计算出真正的Causal Effect。这种建模方法也在Causal Effect Estimation进行了阐述。
  b、Propensity Score Model：我们用Confounding Variables对是否进行treatment进行建模，可以获得PS模型，然后通过Stratification（Matching）以及Inverse-probability Weighting实现Debiasing。之前在小样本ABtest的去偏中也有讨论。

• 3、Control of Selection bias
  这里其实也是当作missing data的问题处理，其实有很多方法可以讨论。
  a、multiple imputation，数据填补，但是这种方法并不能反应填补对数据造成的不确定性，同时可能会使得方差估计偏小[多次估计?]
  b、inverse-probability weighting，这里类似PSM中的weighting方法，但是使用的并非Propensity score，而是用模型预估sample被选取的概率，作为weight。
  c、类似的问题在Censoring中有所讨论，出发点不同。可以见：Censored regression model，Survival_analysis[6]
  d、其他方法，在具体case中更多系统性的设计。TODO，后续加入。业界经常讨论的Data Imputation，Inverse-Weight，Doubly Robust其实也就是上述两种思路的具现[8]。当然，也不乏很多新奇的方法，其有效性需要验证。

Refer
[1]Propensity score
https://blog.csdn.net/a358463121/article/details/106911783

[2]本篇讨论什么样的Selection Bias可以恢复（1、恢复概率分布，2、恢复Causal Effect Estimation）注意，这里是Selection Bias，不是Confounding
Recovering from Selection Bias in Causal and Statistical Inference

[3] Identifying Confounding？可行性？causal discovery从数据角度的无解性如何identify？所以，我们可以验证它在数据上的存在性，但是不能确切地从数据直接发现confounding。
https://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704-ep713_confounding-em/bs704-ep713_confounding-em_print.html

[4]CER中的研究（Clinical Medicine，临床医学中常用的实验，比如判断Covid疫苗的有效性）
Distinguishing selection bias and confounding bias in comparative effectiveness research

[5]
Linear Models: A Useful “Microscope”
for Causal Analysis

[6]Censoring 章节 in Survival_analysis
https://en.wikipedia.org/wiki/Survival_analysis

[7]Sampling Bias
https://en.wikipedia.org/wiki/Selection_bias

[8]譬如：
Improving Ad Click Prediction by Considering Non-displayed Events
以及https://zhuanlan.zhihu.com/p/342905546