0.参考了下面的网址
1、https://zhuanlan.zhihu.com/p/30844905(这个简单明了)
2、https://zybuluo.com/hanbingtao/note/541458(这个仔细,有双向还有训练)
主要参考第一个,第二个虽然没有参考,但是感觉那一列都非常好,记录一下
1.RNN的原理
看上去比较简单,我就直接开始了。
RNN是Recurrent Neural Network,循环神经网络。“循环”的意思就是他能记录和处理一些序列上的信息。
![](https://img.haomeiwen.com/i659952/3e6331084915b1d7.png)
从上图可以看出:
1、X是数据矩阵
2、U是权重矩阵,X*U两个矩阵相乘,指向了隐藏层S的值,S是一个向量
3、上一个时刻的隐藏层的值S(t-1)乘以权重矩阵W,得到的向量也指向了S
4、上述2和3两部分加起来才是真正的隐藏层S的值
5、隐藏层的值S乘以权重矩阵V,最终得到了向量O,输出层的值。
![](https://img.haomeiwen.com/i659952/985f8fb5c3037656.png)
![](https://img.haomeiwen.com/i659952/5ed87d2cfd2ed99f.png)
![](https://img.haomeiwen.com/i659952/f2ec9584ce00228d.png)
其中g和f都是激活函数。
知道为什么我说简单了吗,因为一看图就很明了了
网友评论