文章名称
【AAAI-2020】【University College Dublin-VistaMilk SFI Research】On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning
核心要点
文章旨在从因果推断的角度，生成半反事实、反事实的样例，实现图像分类模型的可解释性。作者提出PIECE框架，通过修改所谓”异常“的特征，生成似是而非的反事实样本、半事实样本，是半事实样本解释方法第一次被应用于深度学习当中。
方法细节
问题引入
近来，由于被应用到许多严肃的领域，如医疗和法律，机器学习模型的可解释性受到了更多的关注。在信贷场景下，如果我们让模型给被拒绝的贷款案例一个解释。基于事实（factually）的解释模型，可能给出的是”之前和你特征一样的贷款都被拒绝了“。而基于反事实的解释可能是”申请数额低一点，就能通过“（当然，这个也是人翻译过的。只是表明申请数额这个特征有用，其他特征不变的情况下，并且低金额的都通过了，回答了what if的问题）。
基于反事实的可解释性，不需要解构神经网络这类的黑箱模型，不用做这是案例试验（因为是猜测的反事实），因此，合情，合理，甚至合法（隐私保护法案）。[1]提出了半反事实样本的概念，作者认为半反事实样本（回答的是even if的问题），由于是修改特征的数量少，并且与原样本处在同一个类别内，更容易被人接受，理解，也更具说服力[2]。反事实和半事实样本的示意图，如下图所示。
what is counterfactual and semi-factual means?
然而，如何能让反事实样本“切中要害”（似是而非，例如上图的4和9，这种模棱两可的样本是最能够让然了解模型的判断依据的）是对比解释方法（反事实解释方法是其中一种）的主要问题。这种样本，能够清楚地反映出，对样本做什么样的改动，能够影响最终结果。例如，信贷案例中，生成一个解释样本，告诉用户“再多赚100w，就能成功”是无法让用户采取行动的（说得好，但毫无意义的）。在图像领域，由于每个维度是连续的，特征空间很大，要求生成的“切中要害”的样本可能不在原有（训练）样本的数据分布之内。为了解决这一问题，许多方法被提出，并且利用与真实样本（factual）的接近程度，作为生成的可解释样本好坏的评价标准。
说了这么多，比较抽象，下图给出了具体的案例，包括factual，counterfactual和semi-factual。
plausible contrastive explanations cases
其中，子图c给出了测试集的样本（目标样本）和与他相关的反事实样本以及最小修改反事实样本。可以看出，测试样本的真实标签是8，但被预测成了3。反事实样本告诉我们，如果把10点钟方向的笔画再延长一点，就会被预测成8。那么，到底要延长多少呢？最小修改反事实样本，给出了答案（就那么长:p）。
子图b给出了半事实解释样本，这个样本阐明了模型为什么把样本预测成9，更重要的是，它告诉我们即使（even if）开口部分比较大到当前这种程度，模型仍然会把它预测成9而不是4（当然，这种程度已经是极限了，因为半事实解释样本一般给出的是接近极限的解释）。
具体做法
PIECE的整体框架包括2个模型，一个待解释的模型（文中是CNN图片分类模型），一个用来生成反事实和半事实样本的GAN模型。
反事实样本生成算法的步骤大致可以分为3步，
- 从反事实的角度识别出相关的（作者称之为“exceptional”）特征
- 把上一步识别出的特征改变为期望的值（比如可以促使模型判断成反事实类别的值）
- 利用GAN把改变后的隐向量表示可视化的展示出来
半事实样本的生成步骤与上述方法基本类似，只是第2步中特征修改的力度会停止在决策边界上。
这一节主要讲述了问题的背景，以及什么事反事实可解释性和半事实可解释性（包括对应的案例）。下一节主要讲解，算法的具体步骤。
心得体会
semi-factual
文章的亮点是能够生成处在决策边界上的半事实样本，并且回答even if的问题。个人认为，无论是反事实还是半事实，确实都是从人的推理角度出发的，来想象到底什么情况下，预测就会编程另一个标签（反事实）或者特征变化成什么样，还能保持原来的预测标签（半事实）。
如作者所说，感觉半事实有更强的说服力和可解释性。
文章引用
[1] McCloy, R.; and Byrne, R. M. 2002. Semifactual even if thinking. Thinking & Reasoning 8(1): 41–67.
[2] Keane, M. T.; and Smyth, B. 2020. Good Counterfactuals and Where to Find Them: A Case-Based Technique for Generating Counterfactuals for Explainable AI (XAI). In International Conference on Case-Based Reasoning. Springer
网友评论