coursera deeplearning
门控循环网络 Gated Recurrent Unit (GRU)
GRU的目的是解决梯度弥散和长距离影响减弱的问题

Γu : 更新门
Γr : 相关性门
长短期记忆网络 Long Short Term Memory (LSTM)

GRU只有两个门控,更适合于构建和扩展大的神经网络,LSTM有三个门控,更加强大和灵活
双向循环神经网络 Bidirectional RNN
为了解决有些句子需要输入后面的词语,提出了BRNN


Deep RNNs

横向表示时间戳
纵向表示网络层
一般不会堆叠太多,否则计算量太大
网友评论