我都佩服我自己，这两年都不知道在干嘛！

RNN

循环卷积神经网络的核心在于循环两个字了，首先是公式：

1. 
2. 

公式1中，i是时间序列的下标，不是什么其他的卷积网络的层数啊之类的，对我这个上手就直接看CNN的人，很容易弄混，一定要注意是时间序列下标，是时间序列下标，时间序列下标。这样的话各个符号就比较好理解了。

• ：表示在i时刻的输出
• ：表示在i时刻的状态
• ：表示在i时刻的输入

这里将状态和输出两点分开，是为了更好的与其他的方法兼容，比如说LSTM。LSTM为了处理长短期记忆问题，设计了复杂的y关于s的函数。如下图所示：

LSTM

上图中，t为时间控制序列下标。和是两个函数。这里的和公式中的是等价的。

• 表示sigmoid函数，
• 表示tanh函数
• 表示相加
• 表示相乘

links

https://blog.csdn.net/adolph_yang/article/details/78956987