1. 激活函数
背景：神经元在接收到输入之后，不会立即做出反应，而是要等输入增强到超过一个阈值，才会触发输出。也就是说，神经元不希望传递微小的噪声信号，而只是传递有意识的明显信号。
两个要点：1. 激活函数的形式；2. 激活阈值
两种激活函数：阶跃函数和S函数(逻辑函数)
激活函数
2. 连接权重
通过改变连接权重，可以控制神经元输入值的大小。训练前对权重进行初始化，这些初始值借助误差进行学习优化，从而调整神经元之间的连接权重。
神经元之间的连接权重
！注意：输入神经元不使用激活函数
3. 信号在相邻层神经元之间的传播
（1）输入，（2）权重，（3）激活函数，（4）输出
相邻层神经元间的信号传递
4. 权重的更新
更新原则：（1）误差均分；（2）按权重分配
权重更新原则
5. 信号的前向传播和误差的反向传播
前向传播和后向传播
6. 权重更新的梯度下降法
以寻找二次函数的最小值为例：
二次函数最小值求解
步骤：（1）任取初始点；（2）求斜率；（3）往相反的梯度方向增加X值
为提高准确性：
（1）选取多个起点，多次训练神经网络；
（2）选取合适的误差函数，利用梯度下降寻找误差函数极小值点，即是最优权重；
权重更新矩阵
神经元连接如下图所示：
输入层-隐藏层-输出层
以隐藏层和输出层之间的权重更新为例，误差函数定义为目标值与实际值之间的均方误差
权重更新矩阵的推导
7. 权重的初始化要求
（1）经验规则：从均值为零，标准方差等于节点传入链接数量平方根倒数的正态分布中进行采样。
（2）禁止将初始权重设定为相同的恒定值，禁止将初始权重设定为零。
网友评论