1、全连接层作用：
全连接的一个作用是维度变换，尤其是可以把高维变到低维，同时把有用的信息保留下来。
全连接另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达
2、简述LSTM如何解决梯度消失
LSTM有能力向单元状态中移除或添加信息，通过门结构来管理，包括“遗忘门”，“输出门”，“输入门”。通过门让信息选择性通过，来去除或增加信息到细胞状态. 模块中sigmoid层输出0到1之间的数字，描述了每个成分应该通过门限的程度。0表示“不让任何成分通过”，而1表示“让所有成分通过！
一个对RNN和LSTM分析比较好的连接（注意理解体会一下他说的公式）
3、激励函数：
作者这篇激励函数写的也很好（我们实际中一般遇见都是非线性问题，所以对特征做了加权线性操作需要通过非线性的激励函数做非线性的变换）
神经网络图
输入输出变量
推导公式
网友评论