1. 主要内容
- 本文强调的是文法信息在神经网络中的使用。
- 两种方法来encoding文法信息进入神经网络，一种是给词打标签并指定标签的权重；另一种是将词性等语法信息一并embedding到词或句的向量表示中去。
Encoding Syntactic Knowledge in Neural Networks-1.png
Encoding Syntactic Knowledge in Neural Networks-2.png
传统LSTM的输入，遗忘，输出门等都是根据隐层（记忆）来决定的，但是这个新模型使用的是单独训练的词法信息来决定这些门的权值。
但是新问题又出现了，比如说在短语interesting movie和not good中，good interesting都是形容词，但是前一个短语构成一个完整的情感倾向，后一个短语却还需要一个宾语才能行程情感倾向。也就是说，只是相同的词性在不同类型的短语中（名词短语和形容词短语）中扮演不同的角色。因此，根据语法结构来对父子短语之间建模很有必要。文中详细介绍了父子短语合成的方法（看后面的实验是说这个不是必要步骤，只是可以提高最终的正确率）
文章使用了两个数据集，一个是SSTdataset，一个是Movie review dataset。
2. 这篇文章解决的问题
训练神经网络使用词法信息来更精确的分析文章的情感。
比起传统RNN简单的把所有词平等对待，标注了词性信息的词可以让RNN对词的理解更深，比如一个名词词组a movie, 一个动词词组love movie中的movie显然不同，如果增加了词法信息，显然RNN能更加细致的学习到句子的隐含信息。词法信息的导入有两种方法，一种是给父节点使用不同的函数g来合并两个子节点，还有一种方式是embedding those tags, 然后把tag vector与词向量连接。
文章使用准确率accuracy作为衡量句子级情感分类好坏的标准。
4. 总结
文章主要研究了文法信息如何放进神经网络和如何构造合适的模型。
网友评论