人工神经网络
适用处理图片信息，但是每个输入之间不会存在联系，不适用于处理序列
RNN-循环神经网络
本质：上一个时刻的网络状态信息将会作用于下一个时刻的网络状态。适用于序列数据
存在问题：传统的RNN网络依然存在梯度消失问题，无法“记忆”长时间序列上的信息（这也是RNN选择tan不选择sigmoid的原因）
模型特点：只要我们得到了模型的U，V，W这三个参数就能完全确定模型的状态。因此该优化问题的优化变量就是RNN的这三个参数。顺便说一句，RNN模型的U，V，W三个参数是全局共享的，也就是说不同时刻的模型参数是完全一致的，这个特性使RNN得参数变得稍微少了一些。
LSTM-长短时记忆
C细胞体通过最上方一排直线进行更新，经过三个们
遗忘门：通过sigmoid忘掉一些东西，1为完全保留，0为完全记忆
输入门：sigmoid+tan
到这个地方下一时刻的细胞体已经完成了
输出门：确定细胞体中哪些部分时要输出出去的
PS: 参考链接
https://www.jianshu.com/p/87aa03352eb9
https://www.jianshu.com/p/9dc9f41f0b29
网友评论