前 言

今天分享2019年CoNLL上的一篇关于篇章分析的paper——《Unsupervised Adversarial Domain Adaptation for Implicit Discourse Relation Classification》，具体任务就是对隐式篇章关系进行分类，简明的说就是看前后两个句子呈现什么语义关系(如连续，对比等)，但句子之间没有明显的连接词(如 but，so等)。论文中作者提出一种无监督的对抗性领域适用方法，换句话说，就是利用对抗网络，无监督的方式进行隐式篇章关系识别，paper链接。

2 Introduction

篇章语义关系分类(Discourse Relation Classification)是篇章分析的重要组成成分,对信息抽取、自动摘要、机器翻译起着重要作用。篇章语义关系包含两类：显式篇章关系(explicit discourse relations)，即存在显式的篇章连接词(如and，but等)；隐式篇章关系(implicit discourse relations)，即文本单元没有显式的连接词。下图为宾州树库定义的篇章关系的层级体系，作者解决的任务也是基于宾州树库的。

宾州篇章树库

作者研究的出发点为：

1.对比显性篇章语义关系相比，隐性篇章语义关系(Implicit discourse relations)不仅在分类上有挑战性，而且在标注上更是;

2.针对上述问题，2015年有人提出了一种非监督域适应(domain adaptation)的显式关系训练方法，具体思路将带有标签的显式关系当着源域，没有标签的隐式关系当着目标域，以域适应迁移学习的方式进行隐式关系预测；

3.上述方法存在一个问题：从显式到隐式迁移，存在一定的语义特征鸿沟，针对该缺陷，作者提出了一种基于对抗差异性的域适应方法（Adversarial Discriminative Domain Adaptation), 使用重构组件保留目标域的差异性特征。

3 Notation

论文涉用到的符号

4 Model

模型框架

框架分三个阶段：

预训练阶段，对抗阶段，测试阶段。

4.1 Encoder

encoder框架主要采用的双向lstm+attention的方式，详细如下图。

encoder框架

4.2 Classifier

分类器是在Encoder后加一个全连接层和softmax分类层，在此过程产生一个源域的交叉熵损失函数：

4.3 Adversarial

在源数据预训练完成后，接着进行域适用的对抗学习，在此过程产生一个对抗损失函数和目标域数据损失函数：

4.4 Reconstruction

作者在引言中提到上述的方法在迁移学习过程中，由于源域数据和目标域数据特征差异性比较大，简明的说就是源域数据有连接词这样显著的特征，而目标数据是没有，所以需要保留一些目标域体现的差异性特征，因为作者提出Reconstruction的损失函数。

4.5 Total loss

把上面提及的损失函数加在一起，就是论文中任务的最终损失函数，具体如下图。其中有第一个子损失函数有些小trick(做了标签平滑处理)变动，这里就不详细见，感兴趣进论文详读。

以上就是本篇论文的模型部分的大概情况，总的来说，作者就是围绕着四个损失函数展开的，最后一个Reconstruction的损失函数是作者创新提出的，目的就是为了保留目标域数据中的一些差异性特征，提高迁移学习效果。接下来简单介绍下实验。

5.Experiments

数据集为PDTB 2.0中，篇章关系使用第一层四类关系(Temporal, Comparison, Contingency, and Expansion)，分显示和隐式两类，详细如下图。

利用上述的方法，作者展开了实验，实验结果如下：

实验结果显示，作者的model中加入Reconstruction方法确定做好的F1值 40.9%，对比三个别人的方法，比其中最好的weak supervision方法高出约1%。因为论文发表在2019年，可能作者还没借鉴bert的思想。现在感觉，做NLP任务，不对比bert类的方法，就不能轻信说自己方法最好~~

6.结语

最近在关注无监督学习的方法，碰到这篇论文读了读，受到一定的启发：就是迁移学习是可以当着一种半监督的方法，而对抗网络就是为了设计一种损失函数，那在bert，xlnet这种预训练基础，结合自己的任务场景，设计一个好对抗网络，应该有不错的效果。