文章名称

【AAAI-2021】【IBM Research AI】Generate Your Counterfactuals: Towards Controlled Counterfactual Generation for Text

核心要点

文章旨在通过反事实生成样本的方法，更好的解释现有NLP模型的公平性和鲁棒性。作者提出GYC框架，可以基于特定的条件，例如，命名实体标签、语义角色标签或情感等，生成合理的、多样化的、面向目标的和有效的反事实样本。生成的反事实样本可以作为测试用例，来评估模型和任何文本去偏算法。

研究背景

机器学习方法应用越来越广泛，因此ML（包括NLP等）系统的可信度至关重要，需要保证它们做出的决策是公平（Fairness）和稳健的（Robust）。[1]提出了以反事实文本做为替代数据集 ，作为测试用例来评估这些系统的公平性和鲁棒性等属性。[2]提出利用反事实文本及其正确标签，来加强训练集（混合反事实和原始训练集）以减轻文本模型中潜在的不公平和非鲁棒。

反事实文本应当具有如下四个属性，包括，

• 合理性（actionable）。确保生成的反事实样本（测试用例）是真实的，可以进一步用于训练模型，提升性能（包括公平性和鲁棒性）。
• 多样性。确保生成的反事实样本对目标输入空间有较高的覆盖率，而不会导致模型只过拟合到某些文本样本上。
• 目标导向性。确保生成的反事实样本，可以由用户控制，满足某些特性。
• 有效性。确保生成的反事实样本利用率够高，且不偏离原始样本太多。

利用这些反事实样本，可以有效地发现一些模型失效的案例，例如NLP分类器的标签翻转问题（比如发现，positive被预测成negative的原因）。同时，这些样本还能用来当做测试对抗攻击的样本。但是这样的（天然）测试样本非常少，并且局限于特定领域。此外，可能（特征取值）并不合理，例如不符合语法[3]或在许多情况下需要人工干预[4]。[5]利用一些预先设定的模板进行反事实样本生成，该类方法的一个主要局限是不能生成有意义的、多样化的反事实样本。一些现有方法生成的样本如下图所示。单词替换或基于模板的方法生成的文本，质量较差，不具有上述4个性质。而对抗生成方法[6]主要是生成可以改变样本标签的句子，而忽略了plausible，导致生成的样本不太可能出现在用户输入中（真实场景里）。因此，这些生成的样本对提升模型能力或作为测试样例来说是低效的。

case of generated samples

虽然，GPT-2[7]等生成模型可以生成合理且具有多样性的文本，可以用来生成反事实文本。但是，作者表示该类方法不便于基于特定属性（或者说控制条件）进行控制和调节[8]（无法方便的做到controllable），与[9]类似，作者采用controllable text generation实现反事实文本生成。不过，存在2个难点，

1. Transformers可以生成没毛病，但在GPT-2上进行inference却很困难。
2. GPT-2不支持controllable text generation。

方法细节

针对上述问题，作者提出一种反事实生成框架（GYC）。该框架可以应用于多种现有模型，来引导反事实文本生成。该框架包括2个大的步骤，

1. 重建输入文本。
2. 利用（作者设计的）微分和不可微分损失实现controllable text generation。

实现控制文本生成时，控制目标可以使文本情感类别、需要生成的实体（文章中写的NER）或者是特定的类别标签。其中，可微分损失是对根据输入句子的logits计算的，而不可微分损失通过对生成文本计算（人工设计的）reward得到。 此外，为了确保生成的反事实文本具有多样化性，作者在logits上添加了熵损失（最大化熵，提升生成结果的多样性，在很多RL的方法中常用，保证action不要过于单一）。

本节讲解了作者的研究问题的背景，思路以及具体框架。下一节继续介绍具体的实现方法。

心得体会

反事实样本生成

样本生成，特别是自然语言文本生成，不是什么新概念，并且已经被用在各种场景。但是可生成的文本那么多，究竟生成什么样的样本？更重要的怎么控制模型生成想要的样本？还是不断发展的研究领域。越来越多的文本生成方法开始注重精细的控制能力，也就是所谓的controllable text generation。作者表示的反事实样本除了需要goal-orientated，还需要保证plausible，diversity并且effective。因此，个人感觉，可以说反事实文本生成是更精细的文本生成方法（当然能局限于特定场景和方向）。

有了精细、可控的生成方法，可想象的空间很大。生成的反事实文本，除了可以测试模型的公平性和鲁棒性，还可以直接用于数据增广，也被看做更精细的generator，做对抗训练（个人感觉）。此外，（微调到适应下游任务后）生成器也可以直接应用于NLG场景。

反事实生成其实只是一个方向性的指导，反事实生成目标所构成的目标（损失函数）可以和其他生成目标一起辅助训练（印象中已经有这样的文章了），或得到所谓生成器和判别器两个副产品。

贝叶斯法则

在PPLM中，作者采用贝叶斯法则，把条件概率转化，并利用KL散度进行辅助约束。这种目标函数转化技巧无法直接实现条件概率最大化的场景经常用到，值得学习和借鉴。

文章引用

[1] Pearl, J.; et al. 2000. Models, reasoning and inference. Cambridge, UK: CambridgeUniversityPress.

[2] Garg, S.; Perot, V.; Limtiaco, N.; Taly, A.; Chi, E. H.; and Beutel, A. 2019. Counterfactual fairness in text classification through robustness. In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society, 219–226.

[3] Li, J.; Monroe, W.; and Jurafsky, D. 2016. Understanding neural networks through representation erasure. arXiv preprint arXiv:1612.08220 .

[4] Jia, R.; and Liang, P. 2017. Adversarial examples for evaluating reading comprehension systems. arXiv preprint arXiv:1707.07328 .

[5] Ribeiro, M. T.; Wu, T.; Guestrin, C.; and Singh, S. 2020. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. arXiv preprint arXiv:2005.04118 .

[6] Michel, P.; Li, X.; Neubig, G.; and Pino, J. M. 2019. On eval- uation of adversarial perturbations for sequence-to-sequence models. arXiv preprint arXiv:1903.06620

[7] Radford, A.; Wu, J.; Child, R.; Luan, D.; Amodei, D.; and Sutskever, I. 2019. Language models are unsupervised mul- titask learners. OpenAI Blog 1(8): 9.

[8] Keskar, N. S.; McCann, B.; Varshney, L. R.; Xiong, C.; and Socher, R. 2019. Ctrl: A conditional transformer lan- guage model for controllable generation. arXiv preprint arXiv:1909.05858 .

[9] Dathathri, S.; Madotto, A.; Lan, J.; Hung, J.; Frank, E.; Molino, P.; Yosinski, J.; and Liu, R. 2020. Plug and Play Language Models: A Simple Approach to Controlled Text Generation. In International Conference on Learn- ing Representations. URL https://openreview.net/forum?id= H1edEyBKDS.