美文网首页
RNN_Back propagation reference

RNN_Back propagation reference

作者: 闫_锋 | 来源:发表于2018-06-14 17:25 被阅读13次

link:
https://www.coursera.org/learn/nlp-sequence-models/discussions/all/threads/Ma0W1RBdEeiM0AqkY8EcsA

rnn_step_forward.png rnn_cell_backprop.png RNN_BP.jpg

重点是设置中间变量u (具体计算过程类似NN的BP)
u = Wax * X^<t> + Waa * a<t-1> + b
根据FP和BP, 先算 a<t>的差 = da_next
然后a<t>对u求导,两者的积是dtanh
dtanh作为中间结果计算dWaa, da_prev等

相关文章

网友评论

      本文标题:RNN_Back propagation reference

      本文链接:https://www.haomeiwen.com/subject/kenyeftx.html