RNN（Recurrent Neural Network，RNN）递归神经网络
递归神经网络是两种人工神经网络的总称：时间递归神经网络（recurrent neural network）和结构递归神经网络（recursive neural network）。时间递归神经网络的神经元间连接构成有向图，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。
RNN一般指代时间递归神经网络。单纯递归神经网络因为无法处理随着递归，权重指数级爆炸或消失的问题（Vanishing/Exploding gradient problem），难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。时间递归神经网络可以描述动态时间行为，因为和前馈神经网络（feedforward neural network）接受较特定结构的输入不同，RNN将状态在自身网络中循环传递，因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。
典型RNN结构
按时间展开
分类
编码器-解码器
双向RNN
深层双向RNN
带有注意力机制的编码器-解码器模型
引用
https://en.wikipedia.org/wiki/Recurrent_neural_network
https://feisky.xyz/machine-learning/rnn/
http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/
https://github.com/xitu/gold-miner/blob/master/TODO/recurrent-neural-networks-rnn-part-1-basic-rnn-char-rnn.md
https://blog.csdn.net/zhaojc1995/article/details/80572098
网友评论