美文网首页
《Reasoning about Entailment with

《Reasoning about Entailment with

作者: 致Great | 来源:发表于2018-07-02 11:42 被阅读63次

    题目直译的话就是使用神经网络注意力机制实现蕴涵推理,文章主要讲述了如何使用LSTM和Attention做英文阅读理解,结合数据集讲就是给出一段话或者说是上下文文本1(hypothesis),然后给出一个结论或者摘要文本2(premise),判断两个文本的关系:

    • ENTAILMENT:相关,有密切联系,都在讲述同一件事情
    • NEUTRAL :中立
    • CONTRADICTION:完全相反,讲述的不是同一件事情

    摘要

    这一部分提了下当前端到端模型的不足和局限,本文提出使用LSTM的神经网络模型来阅读两个句子并推断它们之间的关系,同时使用word by word的注意力机制推断单词或者短语之间的关系,最终模型达到目前state-of-the-art accuracy(state-of-the-art这个单词见了好多次 ^_^

    简介

    识别文本蕴涵- Recognizing textual entailment (RTE)的任务包括:
    (i)两个句子是否冲突
    (ii)两个句子是否不相关,处于中立关系
    (iii)是否可以从第一个句子推断出第二个句子

    针对以上任务,作者调研了当前RTE方法,比如《 A large an-notated corpus for learning natural language inference》提出使用LSTM达到77.6%的准确率。相比上文,作者提出了一种基于注意力的神经网络模型,能够更加有效地推断出premise和hypothesis的关系。

    本文主要贡献:

    • 提出了一种基于LSTM的神经网络模型来做自然语言推理
    • 使用 word-by-word attention mechanism来扩展模型
    • 提供了详细的和高质量的神经注意力模型的分析报告

    方法

    使用一个LSTM对premise编码,然后使用LSTM对hypothesis进行解码;同时中间加了两种attention机制,一种是只考虑(c1,c2,c3,c4,c5)对h9的影响;另一种是考虑(c1,c2,c3,c4,c5)分别对(h7,h8,h9)的影响,也就是word by word attention


    结果

    代码

    https://github.com/borelien/entailment-neural-attention-lstm-tf

    相关文章

      网友评论

          本文标题:《Reasoning about Entailment with

          本文链接:https://www.haomeiwen.com/subject/eabkuftx.html