经典ABSA论文阅读2

1、TNET

Li X, Bing L, Lam W, et al. Transformation Networks for Target-Oriented Sentiment Classification[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018: 946-956.

没有用注意力进行特征提取，避免了注意力带来的噪声干扰。使用CNN去提取特征。给出一个组件，用于生成各个单词基于目标的表示，同时还有一个组件来帮助保存原始的上下文信息。

TST组件：用于整合目标单词信息到单词表示中。TST针对不同的上下文单词生成不同的aspect表示。1）计算aspect单词和某单词之间的联系。2）根据联系再生成此单词特定的aspect表示。【把这个上下文词的信息传递到aspect中】 3）根据新的aspect表示重新生成目标单词的表示。

经过非线性的TST转化后，LSTM信息丢失，所以设计了一个上下文保存机制。为了让CNN提取器更准确定位到情感位置，使用临近策略来度量word和targets的位置相关性。

贡献：使用CNN，整合目标信息到单词表示中。有上下文保存机制，可以把上下文传到更深的网络中去。

网络设计：

1608557179(1).png

首先第一部分；

对于aspect的表示：直接计算的注意力然后求和，可以认为得到的是融合context信息的aspect，但是对单个词的aspect，实际上表示并没有发生变化。（猜测这部分作用有限）——认为aspect单词之间对神经网络是有影响的，应该区分多个aspect的不同。认为不应该用句子or上下文平均来表示句子，因为这样可能会中和不同的情绪。

然后，aspect和隐藏层 concat，过全连接，感觉是变向的注意力计算方式。【强硬地学习aspect和单词之间的联系，还堆多层】【以上两个是一起做消融实验的】

为了保存以前层的内容，使用门机制或者直接加和。【因为经过非线性网络丢失了一些信息】

最后通过卷积神经网络（加了位置信息）。提取n-gram信息。

CNN优势：可以很好地采集n-gram信息（可以说是共现信息、词袋信息），有利于不规范文本的特征提取。【cnn可能会关联到无关词语，因此这里采用临近策略，给临近aspect的词较大的权重。（其实可以尝试用依赖树确定权重）】为提取出最丰富的特征，采取最大池化，然后过全连接层。

2、TNet-Att

Tang J, Lu Z, Su J, et al. Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019: 557-566.

ASC中，很多广泛运用带有注意力机制的域神经网络模型，来获取上下文单词对于给定aspect词的重要性。然而，这种机制可能过度关注一些带有情感极性的频繁地单词，而忽略不频繁的。

对注意力进行训练，得到更准确的注意力。（也可以说是上下文词对目标词的影响程度），大概意思就是把一句中预测正确的权重最大的词mask，关注剩下的词，预测错误的权重最大的词权重降低。是一种注意力的有监督训练方式。

TNet-Att 最上面CNN换掉，换成 $o=Atten(h(x),v(t))$ , $v(t)$ 据描述应该是 $[r^{\tau}_i,h_i^l]$ , 求注意力，然后在和隐藏层相加，注意力改善机制用此机制。

但是看代码，最后是把targets的双向LSTM表示和最后隐藏层输出的h(t)进行了注意力的表示。【感觉有部分描述的不清楚，比如在TNet中， $h_i^l$ 用在了三个地方，图中好像只画了两个地方。】

3、GCAE

Xue W, Li T. Aspect Based Sentiment Analysis with Gated Convolutional Networks[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018: 2514-2523.

基于CNN和门机制。

gated tanh relu单元可以选择性输出情感特征通过给定的aspect和entity。

而且比attention结构简单。

更容易并行。

有两种过滤机制：maxpool, gate unit,可以生成和选择aspect相关特征。

1608562009(1).png

1608562057(1).png

$v_a$ :给定的aspect类别。

卷积核提取句子信息，卷积核提取aspect信息。

aspect+句子信息【生成aspect信息】——relu门

短语情感信息【生成短语特征信息】——tanh门

最大池化保留最突出的特征。

门机制控制情感信息到池化层的流入。Relu对negative输入严格为0。因此，他可以输出特定位置taspect信息 $v_a$ 和最后得到的aspect特征 $a_i$ 直接的相似度分数。如果为0，对应的短语情感特征也被阻断在外，相反如果很相关，会加强，最大池会进一步得到相关特征，排除不相关特征。