1 单层感知机
1.1 单层单输出
单层单输出
下标的说明：
- 1、X上标表示所在层数, X下标表示每层的第#个元素。
- 2、W上标表示所在层数, W下标第一位表示连接的上一层的第#个元素，第二位表示连接的当前层的第#个元素。
- 3、单层感知机第二层只有一个节点，如上图。
- 4、下文所有的推导中激活函数都为sigmod，损失函数为均方根误差MSE。
sigmod激活函数：
| 名称 | 公式 |
|---|---|
| 函数 |
|
| 导数 |
|
梯度计算过程：
1.2 单层多输出
单层多输出
MSE损失函数：
权重计算过程：
2 多层感知机
多层感知机
多层感知机：
多层感知机
梯度计算过程：
权重计算
反向传播
计算最后一层的权重：
| 示意图 | 结果 |
|---|---|
|
|
|
|
反向传播
反向传播步骤：
1 计算输出层梯度；
2 利用输出层梯度计算隐藏层梯度。 利用前一层的梯度，计算当前层梯度，依次类推，直到第一层；
3 各层梯度计算完成之后，利用已得梯度和学习率，更新各个层的权重，完成一次学习过程。
反向传播示意：
| 编号 | 第#次传播 |
|---|---|
| 计算输出层梯度 |
第一次传播
|
| 利用输出层梯度计算隐藏层梯度 |
第二次传播
|
| 利用隐藏层梯度计算输入层梯度 |
第三次传播
|
网友评论