在之前对普通的神经网络和卷积神经网络的学习当中,我们已经知道了反向传播的特性,在普通的神经网络当中,通过一层层的反向传播,对从后到前的参数进行修正和训练,减小它的损失函数计算的大小。
![](https://img.haomeiwen.com/i7450342/1af4185cf7adaecb.png)
在序列模型当中,我们也是要对参数进行反向传播的训练。跟普通神经网络不同的是,序列模型是通过两个小的模型进行训练的,在反向传播的时候也是从序列末端到前端逐步进行反向传播。
![](https://img.haomeiwen.com/i7450342/a7b22a6a392f55b3.png)
其实这个反向传播不同的地方在于它是对同样的Wa、Ba和Wy、By进行处理的,因此它是在同一个训练的例子当中不断地对这四个参数进行重复训练。
这个训练的名字很有意思,叫做“穿越时间的反向传播”,像一个时光机一样,但其实也只不过是从后往前一次次进行训练罢了。
网友评论