RNN的bp

RNN的权重向下层输出的同时，会将权重返回到本层的输入处，和下一次的输入加和

RNN结构

RNN只用了一个权重保存节点的状态，LSTM用了两个权重来保存，新加的状态称为单元状态（cell stat）

C和H两个状态

对长程记忆和短程记忆的控制，可以参考LSTM单元来了解：

LSTM结构

LSTM用三个门来控制数据的流动：f,i,o，其中forget门控制 $C_{t-1}到C_t的$ 量，input门控制 $h_{t-1}和x_t到C_t的量$ ，output门控制 $C_{t}到h_t的量$

GRU有两个门，一个状态：
输入门、遗忘门、输出门变为两个门：更新门（Update Gate）和重置门（Reset Gate）

GRU

RNN的bp
RNN的bp 来源：https://zybuluo.com/hanbingtao/note/581764 RNN的...
深度学习——RNN（1）
前言：为什么有BP神经网络、CNN，还需要RNN? BP神经网络和CNN的输入输出都是互相独立的，也就是说它模拟了...
02-25：RNN算法
RNN算法 1、RNN算法原理（1）RNN变种GRU (2)RNN变种LSTM LSTM缺点分析： todo: ...
RNN
RNN资源整理：awesome-rnn GitHub 上的RNN项目： Awesome Tensorflow Im...
[tensorflow](六) RNN
20181204 qzd 1 RNN简介 2 LSTM 3 RNN的变种 4 RNN样例应用
深入浅出循环神经网络 RNN
本文主要针对循环神经网络 RNN 的原理、结构和应用进行介绍，介绍什么是 RNN，RNN的主要结构有哪些，RNN ...
深度学习——RNN(2)
前言：前面介绍了LSTM，下面介绍LSTM的几种变种双向RNN Bidirectional RNN(双向RNN)...
「深度学习」循环神经网络 RNN 学习笔记
循环神经网络 RNN 演化流程： RNN -> BRNN -> GRU -> LSTM RNN 「循环神经网络」 ...
keras学习-RNN
keras-RNN 参考《python深度学习》关于RNN questions : 每次 RNN神经元个数代表什...
基于mxnet的LSTM实现
RNN理论基础基本RNN结构 RNN的基本结构如上左图所示，输出除了与当前输入有关，还与上一时刻状态有关。RNN...