一.为什么要用RNN
全连接/卷积神经网络:输入层-隐藏层-输出层。层与层之间是全部连接或者部分连接的,但是每层的节点之间是不连接的。这就无法解决,输出是序列的问题,例如,预测一个句子的下一个单词,“angela最新专辑是___”,在这种场景下,需要捕捉节点和节点之间的关系,因此,就出现了RNN。

在每一个时间步中,循环神经网络会传递一个激活值到下一个时间步中,用于下一时间步的计算。
X1,X2,X3对应的上面的就是不同的隐藏层,通过激活值a产生联系。
二.RNN前向传播

前向传播两个参数


三.反向传播
定义一个损失函数,例如是分类的,用交叉熵损失,如下:

四.不同类型的RNN




五.语言模型
作用:评估各个句子中各个单词出现的可能性。
六.新序列采样
作用:在完成一个序列模型的训练之后,如果我们想要了解这个模型学到了什么,其中一种非正式的方法就是进行一次新序列采样(sample novel sequences)
七.RNN梯度消失

八.GRU


九.LSTM

笔记:
RNN单元 GRU LSTM



网友评论