NLP阅读理解模型结构(1)

Memory Networks

1. 模型提出的原因

RNN记忆能力（隐藏层和权重）很弱，像阅读理解之类的问题没办法解决。

2. 模型的结构

m：存储器，indexed by

I：输入的特征表示：可以利用标准预处理，例如，文本输入的解析，共参考和实体解析。 它还可以将输入编码为内部特征表示，例如，从文本转换为稀疏或密集特征向量

G：根据新的输入，改变m：最简单的G就是把输入I(x)存在存储器的“slot”里，比如选择index为H(x)的slot里，那就改变，m其他部分保持不变

O：输出的特征表示

R：把输出转化成我们想要的形式，如文本形式

3. 模型的实现

3.1 最基础的模型：

将输入的语句（原始的形式），一句句放入到m的slot里。

核心在于O和R模块。 O模块通过找到给定x的k个支持存储器来产生输出特征。 对于k = 1，使用以下方法检索得分最高的支持记忆：

O的输出为，这也是R的输入

R最简单的方式可以直接输出，或者用RNN。或者也可以通过输出一个词

此处，W是这个语库中所有词。