本文主要参考这篇文章

Recurrent Neural Networks

递归神经网络（Recurrent Neural Networks）主要用于对序列数据进行建模和预测。它允许状态不断转移和留存，这点与HMM有点类似。

通常一个RNN网络可以展开为：

Long-Term 依赖的问题

对于一个长序列，RNN将难以有效的传递信息：

LSTM 网络

所有的RNN网络都有一个链式的重复结构。对于一个标准RNN来说，它的重复部分比较简单，比如只含有一个tanh层：

而LSTM网络则有一个相对复杂的结构：

LSTM的基本思想

核心是memory cel l（记忆单元）。这个记忆单元就像传送带一样将远处的信息传递过来：

它的巧妙之处在于利用了一个遗忘门和输入门来控制memory的传递衰减和信息的流入。

一步步构建LSTM

首先需要利用遗忘门（forget gate layer）决定多少信息需要继续传递。遗忘门的输出在[0,1]之间，0表示彻底遗忘，1表示不遗忘。

接下来利用输入门（input gate layer）决定加入多少新信息。输入门的输出也在[0,1]之间。

然后是状态记忆单元C的状态更新：

最后是输出部分。这里利用输出门（output gate layer）决定将多少记忆信息输出为隐含状态。tanh用于将记忆信息映射到[-1,1]之间。

一些变体

LSTM有相当多的变体，这里列举一二。
例如这篇文章，增加了‘peephole connections’，就是每个门的计算都基于已知的所有变量。

这是一个耦合的版本，就是将遗忘和输入的计算结合到一起。

更加引人注意的是Gated Recurrent Unit（GRU）网络。这个网络直接采用updata gate更新隐含状态。相当于把输出门的公式也做了改变。

结论

最近，还有更多激动人心的最新进展，比如Attention RNN，Grid LSTM，Generative models