美文网首页
RNN中的GRU门

RNN中的GRU门

作者: jiraiyafuhui | 来源:发表于2017-08-30 22:28 被阅读0次

    传统RNN网络中的梯度下降现象会导致RNN的记忆能力并不太好。为了使得RNN网络能够记得更久以前的信息,就有了GRU(gated recurrent unit)。GRU使得信息可以直接从过去流到现在,而不需要经过连续的矩阵作用。

    我们在这里以tanh-RNN为例来说明,传统的网络更新流程如图Fig 0所示。

    Fig 0

    但是GRU采用的策略如Fig1所示。

    Fig 1

    首先我们在h中选择一个子集,这个子集经过传统的tanh作用后,我们得到h',数学形式如Fig 2中所示。

    Fig 2.

    那么r(eset)这个值该怎么决定呢?

    Fig 3

    r决定了h中哪些元素在产生h'的时候起作用。但是这里仍然不是最后的updata,最后的update如图Fig 4所示。

    Fig 4.

    u是update gate,它的定义如图Fig 5所示。

    Fig 5.

    相关文章

      网友评论

          本文标题:RNN中的GRU门

          本文链接:https://www.haomeiwen.com/subject/rabxjxtx.html