- 2018 · ACL · Exploring Semantic
- 2018 · ACL · Some of Them Can be
- 2018· ACL · Unsupervised Learnin
- 2018 · ACL · LSTMs Exploit Lingu
- 2018 · ACL · What you can cram i
- ACL 2018最佳论文公布!计算语言学最前沿研究都在这里了
- ACL2018、COLING2018、EMNLP2018、NAA
- HTML-Semantic Elements
- [译] 探索 Swift 4 中新的 String API
- [转]神经网络并不是尚方宝剑,我们需要正视深度 NLP 模型的泛
2018 · ACL · Exploring Semantic Properties of Sentence Embeddings
想法来源:探索性实验性质文章。
价值:可以看出模型到底可以学习了什么。
方法:探索了修改句子成分,让模型判断是否是同一个意思。
缺点:
详细方案:
- 几种句子修改方法;
- 反义:not
- 反义:there is no
- 同义替换
- 去除从句
- 改成被动形式
- 调换主语顺序
- 绕轴旋转
- 几种embedding表示方案
- GloVe Averaging
- Concatenated P-Mean Embeddings
- Sent2Vec
- Skip-Thought
- InferSent
数据集:
自己构造数据集
每个sample由三个句子组成:original , Synonym-Substitution sentences, Not-Negated
实验:
前面三列是cosine相似度
![](https://img.haomeiwen.com/i7164680/1784b9150f877854.jpg)
![](https://img.haomeiwen.com/i7164680/ffd28efe95d4edc2.jpg)
![](https://img.haomeiwen.com/i7164680/766493d1f86cb2c3.jpg)
![](https://img.haomeiwen.com/i7164680/fa6238cfdf716536.jpg)
![](https://img.haomeiwen.com/i7164680/8d7d8df4df408b86.jpg)
所以,可以看出这几种句子表示方法,都没法理解句子的深层意思,抓住句子的核心不同。只能作为记忆模型,记忆句子的大体模型。
网友评论