激活函数

image.png

符号函数不是神经元的唯一激活函数

感知器学习规则

1. 初始化

设置权重 w 和阀值 θ，取值范围 [-0.5,0.5]

2. 激活

image.png

3. 权重训练

image.png

e为误差
a为学习速率

4. 迭代p加一，回到步骤二，重复以上过程直至收敛

多层神经网络

image.png

反向传播网络

在反向传播神经网络中，学习算法有两个阶段。

• 将训练输入模式提供给网络的输入层。
• 输入模式在网络中一层一层地传递，指导输出层产生输出模式为止。
• 如果输出模式和网络预期的输出模式不同，则计算误差，然后从网络的输出层反向传播回输入层。在传递误差时，调整权重的值。

和其他神经网络一样，反向传播神经网络是由神经元的连接(网络框架)、 神经元使用的激活函数和指定用于调整权重的学习算法 (或学习规则)组成。

image.png

反向传播训练算法步骤

1. 初始化

image.png

2. 激活

• 计算隐含层神经元实际输出

image.png
n为隐含层神经元j输入的个数，sigmoid为S形激活函数

• 计算输出层神经元实际输出

image.png
M为输出层神经元K输入个数

3. 权重训练

• 计算输出层误差梯度

  • 求误差

    
    image.png

  • 计算误差梯度

    
    image.png

  • 计算权重校正

    
    image.png

  • 更新输出神经元权重

    
    image.png
  • 计算阀值修正
    阀值修正 = 学习速率 *（-1）* 误差梯度

• 计算隐含层神经元误差梯度

  • 计算隐含层的神经元的误差梯度

    
    image.png

  • 计算权重校正

    
    image.png

  • 更新隐含层神经元的权重

    
    image.png
  • 计算阀值修正
    阀值修正 = 学习速率 *（-1）* 误差梯度

4. 迭代

迭代p加1，回到步骤二，重复上述过程指导满足误差要求为止。