https://blog.csdn.net/zhaojc1995/article/details/80572098
参考上面的网址，致敬，讲的很透彻。
标准RNN的结构.png
上图是一个标准的RNN前向传播的过程，下图介绍其推导过程。
image.png
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。
标准RNN有以下特点：
1、“损失“也是随着序列的推荐而不断积累的。（途中h的部分）
2、权值共享，图中的W全是相同的，U和V也一样。
3、每一个输入值都只与它本身的那条路线建立权连接，不会和别的神经元连接，右侧途中三条路只在自己的道路上前进，不和两边相邻的路有连接。
上图是标准RNN，输入是序列，输出也是序列。
标准的RNN 并不能解决所有的问题。
下图表示，输入是序列，输出是一个单一值，例如输入一串文字，输出为分类的类别。
image.png
同样的有时还需要如下图这样的，输入为单一输入，输出为序列的。
image.png
下图是一种，输入虽然为序列，但是输入序列并不随着时间变化的。
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
网友评论