BP反向传播算法推导

作者: daihp1022 | 来源:发表于2019-12-01 11:08 被阅读0次

神经网络之反向传播（BP）算法代码实现
神经网络之反向传播算法（BP）详细公式推导
2018-06-28 BP算法
深度学习 - 前向传播和反向传播
BP反向传播算法推导
TensorFlow系列专题（五）：BP算法原理
解读反向传播算法（BackPropagation）
BP算法
反向传播算法推导-卷积神经网络
BP算法

1、符号设定

$a_{i-1}$ 为第 $i$ 层输入向量
$x_{i}$ 为第 $i$ 层输出向量
$W_{i}$ 为第 $i$ 层到下一层的权重矩阵
$\sigma$ 为每一层的sigmod激活函数
$o$ 为最后一层的下标， $y$ 为最后一层的真实值， $h$ 为预测值
$L$ 为一个样本的损失函数，其中 $L=\frac{1}{2}(y-h)^2$
根据设定，我们有以下等式
$x_{i}=\sigma(a_{i-1})$ $a_{i}=W_{i}x_{i}$ $h=\sigma(a_{o})=\sigma(W_{o}x_{o})$

2、对于输出层

$\frac{\partial L}{\partial W_o}=\frac{\partial L}{\partial h}\frac{\partial h}{\partial a_o}\frac{\partial a_o}{\partial W_o}=(h-y)h(1-h)x_o$
令误差 $\delta_o=\frac{\partial L}{\partial a_o}=(h-y)h(1-h)$ ,则 $\frac{\partial L}{\partial W_o}=\delta_ox_o$
对于 $W_o$ 梯度更新公式为： $W_o=W_o-\eta\delta_ox_o$

3、对于上一个隐藏层 $k$

由于 $a_o=W_ox_o=W_o\sigma(a_k)$ ， $a_k=W_kx_k$ ，则有
$\frac{\partial L}{\partial W_k}=\frac{\partial L}{\partial h}\frac{\partial h}{\partial a_o}\frac{\partial a_o}{\partial a_k}\frac{\partial a_k}{\partial W_k}=(h-y)h(1-h)W_oa_o(1-a_o)x_k$
令隐藏层 $k$ 的误差
$\delta_k=\frac{\partial L}{\partial a_k}=\delta_oW_oa_o(1-a_o)$ 则有 $\frac{\partial L}{\partial W_k}=\delta_kx_k$
对于 $W_k$ 梯度更新公式为: $W_k=W_k-\eta\delta_kx_k$

若存在隐藏层 $k-1$ ，同理可得隐藏层 $k-1$ 的误差 $\delta_{k-1}=\frac{\partial L}{\partial a_{k-1}}=\delta_kW_ka_k(1-a_k)$ 则有 $\frac{\partial L}{\partial W_{k-1}}=\delta_{k-1}x_{k-1}$ 对于 $W_{k-1}$ 梯度更新公式为: $W_{k-1}=W_{k-1}-\eta\delta_{k-1}x_{k-1}$

4、计算顺序

根据2、3可知，当要更新网络中神经元的所有权重时，需从输出层开始并逐步后向计算各隐藏层的输入值和输出值和误差项

参考

https://www.zybuluo.com/hanbingtao/note/476663

神经网络之反向传播（BP）算法代码实现
反向传播算法实战本次的反向传播算法是基于上篇文章神经网络之反向传播算法（BP）详细公式推导实现的，如果对反向传播...
神经网络之反向传播算法（BP）详细公式推导
反向传播算法详细推导反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种...
2018-06-28 BP算法
BP推导——续反向传播算法 Backpropagation Algorithm （批量）梯度下降法 (batch...
深度学习 - 前向传播和反向传播
英文原文深度学习---反向传播的具体案例BP（反向传播算法）公式推导及例题解析前向传播 input ->输入到-...
BP反向传播算法推导
1、符号设定为第层输入向量为第层输出向量为第层到下一层的权重矩阵为每一层的sigmod激活函数为最后一层...
TensorFlow系列专题（五）：BP算法原理
一．反向传播算法反向传播算法[1]（Backpropagation Algorithm，简称BP算法）是深度学习...
解读反向传播算法（BackPropagation）
冒泡~周末愉快鸭！反向传播算法（BackPropagation）概念 1.什么是BP 算法？BP算法全称叫作误...
BP算法
BP算法简介BP算法 BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经...
反向传播算法推导-卷积神经网络
在SIGAI之前的公众号文章“反向传播算法推导-全连接神经网络”中，我们推导了全连接神经网络的反向传播算法。其核心...
BP算法
BP算法：误差反向传播算法。通过比较输出值与标记值，将误差反向由输出层向输入层传播，利用梯度下降算法进行参数调整。...