隐状态
记忆储存:h可以对序列数据提供特征,然后再转化为输出。
U、W:权值矩阵;b:偏置项;f:激活函数,在RNN中一般使用tanh。
一个箭头表示对相应的向量做一次类似于f(Wx+b)的变换。
在计算重,每一步使用的参数U、W、b都是一样的,即每一步骤的参数都是共享的。如图h1, h2, h3, h4中的参数共享,要变都变,类似卷积核filter。
记忆储存:h可以对序列数据提供特征,然后再转化为输出。
U、W:权值矩阵;b:偏置项;f:激活函数,在RNN中一般使用tanh。
一个箭头表示对相应的向量做一次类似于f(Wx+b)的变换。
在计算重,每一步使用的参数U、W、b都是一样的,即每一步骤的参数都是共享的。如图h1, h2, h3, h4中的参数共享,要变都变,类似卷积核filter。
本文标题:RNN
本文链接:https://www.haomeiwen.com/subject/kuqboltx.html
网友评论