文章名称
【Arxiv-2021】【University of Technology Sydney】Prototype-based Counterfactual Explanation for Causal Classification
核心要点
文章旨在解决现有（针对离散特征的）反事实解释方法存在的，1）丢失特征间因果关系，导致反事实样本不合理；2）生成反事实样本速度慢，需调节大量参数，融合多种损失两方面问题，提出了利用因果结构模型来保留反事实特征背后的因果关系，同时设计了一种基于多目标遗传算法的新型无梯度优化算法为连续和分类数据的混合类型生成反事实解释。
方法细节
问题引入
反事实解释是可解释机器学习的一个分支，通过产生扰动样本使得模型改变原来决策，以扰动样本作为对模型决策依据的解释。现有的反事实解释方法大多是基于梯度的方法，只能优化连续变量。虽然有许多方法被提出，来对分类变量进行反事实解释的生成，但存在两点不足
- 在生成反事实时通常会忽略特征之间的因果关系，导致得到的反事实解释是不合理的（比如提升学历，但年龄不变），不能帮助决策者采取行动[1, 2]。
- 生成反事实样本的速度非常慢，需要调节大量参数，并且要组合多种损失函数[3, 4]。
具体做法
为了解决上述问题，作者提出了ProCE方法，其特点包括，
- 该方法是一种与模型无关的方法，能够对混合特征空间中的分类决策给出解释。
- 该方法结合因果结果模型和因果损失函数，可以在生成反事实样本时保持特征间因果约束。
- 利用自动编码器模型，结合所谓的“类原型”来指导反事实样本生成的搜索过程，并加快搜索速度。
- ProCE利用多目标优化平衡生成的反事实样本的最优性和合理性。
首先，对一些后续用到的变量进行一下形式化定义，
- 决策模型
，
分别表示特征和标签空间，
表示某一个具体样本的特征。
- 为了区别观测事实和反事实，把观测样本特征和标签记作
。
- 反事实样本生成的目的是，基于
, 使得样本的预测结果
变为目标标签。该生成过程一般通过解决如下图所示的优化问题得到。其中，
表示
和
optimization problem of counterfactual sample generation
Prototype-based Causal Model
ProCE在反事实样本，要求模型遵循一些约束来，以此保证样本取值的合理性，加速反事实样本生成速度。包括，
目标标签约束。分类器对发说说样本的预测距离和期望反事实结果要一致。在分类任务中，可以利用cross-entropy来度量这个差异，其损失如下图所示。
prediction loss
- 原型约束。巨大的搜索空间，导致反事实样本生成运算过程很慢。作者受到[5]启发，利用“类原型”的概念指导模型在特征空间中搜索，并得到合理的反事实样本。具体做法是一个意向量空间中寻找
把原始样本特征
的原型
的定义如下图所示。
prototype
基于此，原型损失定义如下图所示。
prototype loss function
其中，类别是在原型空间中，距离原始样本
target class(smallest distance class)
本节讲解了文章研究问题的背景，作者进行反事实样本生成的思路以及一些反事实样本需要遵循的约束。下一节继续介绍其他约束以及多目标损失函数和优化方法
心得体会
反事实约束
作者的优化思路是先把反事实样本需要遵循的约束（或者说目标）罗列清楚，通过优化这些目标，得到期望的反事实样本。其中，prototype，相当于给反事实样本生成打锚点，让反事实样本生成逐渐找到方向，而不是不知道该往哪走（因为有可以瞄准任何一个具有目标标签的样本去搜索或者改变特征值）。
也许在原型选取，也就是KNN中K的设置过程上，优先使用大的K，最终逐渐缩小K，类似引路的感觉。
文章引用
[1] Berk Ustun, Alexander Spangher, and Yang Liu. Actionable recourse in linear classification. In Proceedings of the Conference on Fairness, Accountabil- ity, and Transparency, pages 10–19, 2019.
[2] Rafael Poyiadzi, Kacper Sokol, Raul Santos-Rodriguez, Tijl De Bie, and Peter Flach. Face: fea- sible and actionable counterfactual explanations. In Pro- ceedings of the AAAI/ACM Conference on AI, Ethics, and Society, pages 344–350, 2020.
[3] Divyat Mahajan, Chenhao Tan, and Amit Sharma. Preserving causal constraints in counterfactual explanations for machine learning classifiers. arXiv preprint arXiv:1912.03277, 2019.
[4] Ramaravind K Mothilal, Amit Sharma, and Chenhao Tan. Explaining machine learning classifiers through diverse counterfactual explanations. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pages 607–617, 2020.
[5] Arnaud Van Looveren and Janis Klaise. Interpretable counterfactual explanations guided by prototypes. arXiv preprint arXiv:1907.02584, 2019.
网友评论