Interpretability of Deep Learning Models: A Survey of Results

介绍

整理了几个不同层面的可理解性

模型透明度

• 可模拟性： 一个人能否用输入和模型来复现每一步操作，做出正确结论。以及人能否理解模型参数的变化逻辑。

• 可分解性：模型的每一个参数是否都能够有一个只管的解释。

• 算法透明度： 解释学习算法的工作原因。（SVM中超平面的选择可以用边缘点和决策边界来解释。（DNN中每层特征中的非线性难以解释用于输出的特征

模型功能性

• 文本描述：模型语义上能够理解的解释。（模型划分为用于预测的和用于生成文本解释的两部分）

• 可视化：可视化高维分布表达的一种流行方法时tSNE

• 局部解释：计算给定输出类的特定输入带来的局部变化。（NN中，输梯度可以用来识别特定的权重和受输入向量影响的局部变化。

现有技术

模型透明性

透明度主要关注可分解性以及算法透明度。

• Erhan：可视化(无监督deep belief networks)内部单元

• Zeiler & Fergus：用逆卷积把特征映射回输入空间，把上面的内容拓展到CNN。

  • 模型透明度不仅有助于理解，还能够帮助提高模型表现

• Karpathy：针对LSTM RNN，一些细胞学习长持续的容易理解特征，另一些则难理解（变化快）

关于CNN：

• Mahendran&Vedaldi：观察CNN不同层级的图片表示，模型较深层学习图像更抽象的表示，并认为这体现了模型的抽象表现

• Yosinski：将其完善成工具

• Nguyen：显示CNN学习图片的哪些信息（结构，细节，结构等等

• Simonyan：生成CNN每一类最喜欢图片——输入中的最重要特征

• Nguyen：利用Deep Generator Network，生成针对特定神经层的最优图片。

• Li：收敛学习（不同网络是否学习相似特征）

  • 先训练好多个网络

  • 然后比较每个特征在上一层or上一组层的状况

  • 结论：DN表现相同的时候，可能学习到的是训练数据的不同特征

• Koh & Liang：从训练数据集的视角观察模型

  • 对训练集添加某个固定位置的扰动，以观察扰动对结果的影响

  • 一定程度上说明了“对抗样本”的意义

• Shwartz-Ziv & Tishby：利用信息论分析DN

  • 利用信息瓶颈工作考察每层的输入输出

  • 早期（drift）阶段，权重的方差<<梯度的均值，说明高信噪比

  • 之后（diffusion）阶段，权重方差>>梯度均值，说明低信噪比

    • 随机梯度下降通过diffusion阶段产生有效的内部表示

    • 简单随机扩散算法能够再训练的扩散过程使用，以降低训练时间。

  • 多种权重，都能训练出最优表现的网络。

模型功能性

四种事后解释：文本（文字or口述）、视觉、局部（输入周围局部特征空间上下文中证明决策合理性）、例子

• tSNE

  可视化方法，（降维，跨尺度固有结构信息）

  ——理解数据，帮助理解怎么学习

  但没有解释算法

• Terrapattern

  基于卫星图像可视化探索相似城市区域

  用一个CNN通过打标签卫星图像来训练

  然后移除顶层分类层，用剩余卷积层为卫星图像生成特征，再用k临近算法为特征寻找最接近特定特征

  ——本意不是解释CNN但实际上起到了后验理解效果

• Hendricks

  他们的工作旨在提供一个图像分类器+图像准确描述

  但并没有给出描述与图片特征的对应关系

• Xu等人字幕生成方法

  不分类，只描述每个单词的注意力集中在图像哪里

• Ribeiro LIME

  为任何机器学习模型提供决策解释。

  输出：二进制向量

  每位表示一个输入特征

  方法：生成一些输入附近的扰动样本，来学习模型的局部近似

• Elenberg

  高效流算法产生相似的输出，10倍提高LIME效率

• Ross：RRR（right for the right reasons

  • 利用二进制确定一个输入特征是否导致示例的正确分类

  • 利用不同的掩码建立不同的决策边界

对于高可解释性模型建立：

• LRP：

  • 与泰勒展开相关

  • 输出一个关于输入特征的热图，显示与模型输出的相关性大小

  • 最适用于图片分类

• Samek：类似LRP

• Kumar：

  • 显示模型最关注的图片区域

• Lei：

  • 局部解释方法，针对文本

  • 一个生成器+一个解码器

  • 学习预测文本中最体现情感的成分，满足小但完整（eg短语），预测情感与整段文本相同。

联盟视角（为什么可解释性重要

作者提出了一种视角：

假设联盟中的每一个个体拥有一部分数据，一个成功的联盟决策，也就需要建立再最大化利用所有数据的信息的情况下来建模。

因此任何决策都需要建立在所有联盟成员接受的前提下，而能够被接受的模型的重要特性就是：无偏（公平），可度量，透明。这些也就是构成一个可解释模型的基本特性。

挑战与解决

针对上面提出的模型需求，进行讨论

公平和可度量

主要对于模型可能从数据中学到的对于特定种群，性别，等敏感问题。

有必要通过避免数据的偏差性，以避免模型产生对群体不利的判断。

• Yang 提出了一个公平性度量

可度量是一种事后验证模型的视角，以帮助人&算法衡量模型。

不过当前对于代码（算法）的透明性其实并不太重要，因为基本显然这属于一种商业机密，不太可能完全透明。在这种条件下，度量就相对应的变得更有意义。

• Adler 提出了一个黑盒模型，以判断模型对数据集哪部分特定特征感兴趣。

面向政策公平性的机器学习检验算法是一个未来发展的方向。

另一方面，模型应该能够有明确的目标，以帮助使用者明确的检测其是否达到。

可理解性（Interpretability）V.S. 可解释性（Explainability）

（面向模型本身）模型的可解释性（explain），作者认为这指的是模型基于数据所作出决策的推理完整性。同类型模型可以用同一个度量框架，不同类型不可互通。

（面向使用者）模型的可理解性（interpret），则指模型解释被用户所理解的这个过程。因此，可理解性必须基于多项因素，模型任务，用户经验，特定解释项等。针对可理解性的度量在大框架上也就是可比较的。

可理解性贝叶斯方法

贝叶斯模型在可解释性和透明度方面都相对较好，因此考虑将两者结合。

• BDL：

  • 将DL与贝叶斯模型结合