0.参考了下面的网址

1、https://zhuanlan.zhihu.com/p/30844905（这个简单明了）
2、https://zybuluo.com/hanbingtao/note/541458（这个仔细，有双向还有训练）
主要参考第一个，第二个虽然没有参考，但是感觉那一列都非常好，记录一下

1.RNN的原理

看上去比较简单，我就直接开始了。
RNN是Recurrent Neural Network，循环神经网络。“循环”的意思就是他能记录和处理一些序列上的信息。

一个简单的循环神经网络

从上图可以看出：
1、X是数据矩阵
2、U是权重矩阵，X*U两个矩阵相乘，指向了隐藏层S的值，S是一个向量
3、上一个时刻的隐藏层的值S(t-1)乘以权重矩阵W，得到的向量也指向了S
4、上述2和3两部分加起来才是真正的隐藏层S的值
5、隐藏层的值S乘以权重矩阵V，最终得到了向量O，输出层的值。

具体的图
RNN延时间线的展开图
RNN的公式
其中g和f都是激活函数。

知道为什么我说简单了吗，因为一看图就很明了了