LSTM和GRU中的门

LSTM和GRU中的门

LSTM

https://zhuanlan.zhihu.com/p/32085405

https://www.jianshu.com/p/4b4701beba92

门控主要实现的依据：

一个sigmoid网络+点乘运算。在LSTM中，主要用输出0,1之间的数，作为门控。（点乘：操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的）

遗忘门: 上一层保留多少。控制需要遗忘的比例。

查看(前一个输出)和(当前输入)，为单元格状态输出0和1之间的数字，表明这部分信息保留多少。

输入门层：新的输入需要记忆多少

【表示输入门控】

【tanh信息，表示输入信息】

可以将上一个状态值，更新为

【这里大小会不会不可控？】

输出门：当前状态的输出，需要输出多少

【输出门控】

tanh: 将信息映射到【-1,1】之间

GRU

https://www.cnblogs.com/jiangxinyang/p/9376021.html

https://zhuanlan.zhihu.com/p/32481747

深入理解lstm及其变种gru - Evan的文章 - 知乎 https://zhuanlan.zhihu.com/p/34203833

有两个门，门的计算方式和LSTM相同，主要用输出0,1之间的数

更新门：可以看作对遗忘门和输入门的组合。

重置门

更新门

重置门，帮助重置之前的状态。

，控制保留多少之前的信息or只保留当前信息。

，控制从隐藏层遗忘多少信息。【只用一个门，记录两个分别保留多少】