假设我们知道网络输出和实际输出之间的区别，我们怎样调整网络参数使他们接近
一种代价函数形式
Paste_Image.png
一种weight decay代价函数形式
Paste_Image.png
参数如何初始化实际上是一个problem，后面会有相应讨论，这里简单的以高斯分布讨论。
修正参数的原理，只要间隔取得小，就能收敛。虽然这是非凸函数，会收敛到局部最小值，但是事实证明结果是好的。
Paste_Image.png
所以这个梯度的求法就很关键了，这里上BP（反向传播算法）
Paste_Image.png
1.先前向传播，this is easy
2.然后计算最后一层整体的偏差量
Paste_Image.png
3.从后往前逐层计算前一层的偏差量
Paste_Image.png
4.最后由每一层的偏差量计算W与b的梯度，此即为更新时需要用到的值
Paste_Image.png
Some trick
如何保证计算出的梯度是正确的——梯度检查
Paste_Image.png
冒泡~周末愉快鸭！ 反向传播算法（BackPropagation） 概念 1.什么是BP 算法？BP算法全称叫作误...
BP算法 简介BP算法 BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经...
BP算法是 )
BP算法：误差反向传播算法。通过比较输出值与标记值，将误差反向由输出层向输入层传播，利用梯度下降算法进行参数调整。...
BP算法 M-P神经元模型 激活函数 阶跃函数： 阶跃函数具有...
假设我们知道网络输出和实际输出之间的区别，我们怎样调整网络参数使他们接近一种代价函数形式 一种weight dec...
https://zhuanlan.zhihu.com/p/28821475
一．反向传播算法 反向传播算法[1]（Backpropagation Algorithm，简称BP算法）是深度学习...
一. 算法描述 BP网络和感知机一样，是前馈神经网络的代表，不同在于BP网络是一种多层且复杂的神经网络。而BP算法...
一、BP算法的意义 对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Pro...
本文标题：BP算法
本文链接：https://www.haomeiwen.com/subject/qpdhbttx.html
网友评论