RNN是一类以序列数据为输入,在序列的演进方向进行递归且所有节点循环单元按链式连接的递归神经网络
递归神经网络:是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络
序列:序列是被排成一列的对象或事件这样每个元素不是在其他元素之前,就是在其他元素之后。
递归:程序调用自身的编程技巧
RNN的组成结构:
image.png
其中W区为循环层
x是一个向量,它表示输入层的值;
s是一个向量,它表示隐藏层的值;
U是输入层到隐藏层的权重矩阵;
o也是一个向量,它表示输出层的值;
V是隐藏层到输出层的权重矩阵。
权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重
image.png
RNN的核心部分是一个有向图。有向图展开中以链式相连的元素被称为循环单元 image.png
特点
1.权重共享:RNN的权重系数是共享的
2.计算能力:一个循环单元间完全连接的RNN满足通用近似定理
网友评论