美文网首页
计算两个句子(文档)的相似度

计算两个句子(文档)的相似度

作者: 我喜欢过洋娃娃 | 来源:发表于2018-07-10 08:25 被阅读0次

    通过对一句话分词,训练每个词的词向量之后,判断两个句子是否相似

    一个相关链接:

    如何通过词向量技术来计算2个文档的相似度? - 吴俣的回答 - 知乎
    https://www.zhihu.com/question/33952003/answer/135089460

    常用的几种方法:

    • Siamese-CNN
    • Siamese-LSTM(BiLSTM, GRU)
    • Attention(Memory Network)
    • Attention weighted(CNN, LSTM)
      • ABCNN(不太喜欢,像是硬用进去,感觉不太优美)
    • Word Mover's distance

    一些经验:

    • 基于句子交互(点积,差绝对值等等) 比 基于表示(直接余弦相似度)好

    (可能这个问题的重心已经不再是如何通过NN的优化最大程度的保留句子的语义信息,而是更多去寻求一些比较明显的特征直接比较?)

    ABCNN

    看了好久才弄懂ABCNN的卷积过程。
    其实卷积也还是就是Yoon Kim的方法。
    协助理解的时候,这篇讲的还是很好的:

    https://blog.csdn.net/liuchonge/article/details/69587681

    后面这里提了一下,说把中间pooling层的输出也合并到最后的输出里,可以增强performance

    相关文章

      网友评论

          本文标题:计算两个句子(文档)的相似度

          本文链接:https://www.haomeiwen.com/subject/zpnxpftx.html