美文网首页
2018 · ACL · Exploring Semantic

2018 · ACL · Exploring Semantic

作者: HelloShane | 来源:发表于2018-09-24 12:00 被阅读0次

2018 · ACL · Exploring Semantic Properties of Sentence Embeddings

想法来源:探索性实验性质文章。

价值:可以看出模型到底可以学习了什么。

方法:探索了修改句子成分,让模型判断是否是同一个意思。

缺点

详细方案

  1. 几种句子修改方法;
    • 反义:not
    • 反义:there is no
    • 同义替换
    • 去除从句
    • 改成被动形式
    • 调换主语顺序
    • 绕轴旋转
  2. 几种embedding表示方案
    • GloVe Averaging
    • Concatenated P-Mean Embeddings
    • Sent2Vec
    • Skip-Thought
    • InferSent

数据集
自己构造数据集
每个sample由三个句子组成:original , Synonym-Substitution sentences, Not-Negated

实验

前面三列是cosine相似度

-c400
-c400 -c400
-c400 -c400

所以,可以看出这几种句子表示方法,都没法理解句子的深层意思,抓住句子的核心不同。只能作为记忆模型,记忆句子的大体模型。

相关文章

网友评论

      本文标题:2018 · ACL · Exploring Semantic

      本文链接:https://www.haomeiwen.com/subject/wzbcoftx.html