BP算法

作者: leta_lan | 来源:发表于2017-07-18 15:05 被阅读0次

BP算法:误差反向传播算法。通过比较输出值与标记值,将误差反向由输出层向输入层传播,利用梯度下降算法进行参数调整。用于训练人工神经网络。对网络中所有权重计算损失函数的梯度,并将梯度反馈给最优化方法以更新权值以最小化损失函数。

数学核心:微积分。用链式法则对每层迭代计算梯度,要求激励函数可微(如sigmoid)。

算法:在阈值调整过程中,当前层的阈值梯度取决于下一层的阈值梯度;当前层的连接权值梯度,取决于当前层神经元阈值梯度和上层神经元输出

算法

学习模式:在线、批量、随机。在线和随机学习在每次传播后都立即更新权重。随机和批量使用静态型态的训练集合。随机以随机的顺序经过数据集合以减少局部极小值,速度比批量快。

限制:局部极小值、收敛慢且不保证收敛,无需输入向量标准化

相关文章

  • 解读反向传播算法(BackPropagation)

    冒泡~周末愉快鸭! 反向传播算法(BackPropagation) 概念 1.什么是BP 算法?BP算法全称叫作误...

  • BP算法

    BP算法 简介BP算法 BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经...

  • BP算法

    BP算法是 ![](http://latex.codecogs.com/gif.latex?35*d_5+1(\oe))

  • BP算法

    BP算法:误差反向传播算法。通过比较输出值与标记值,将误差反向由输出层向输入层传播,利用梯度下降算法进行参数调整。...

  • BP算法

    BP算法 M-P神经元模型 激活函数 阶跃函数: 阶跃函数具有...

  • BP算法

    假设我们知道网络输出和实际输出之间的区别,我们怎样调整网络参数使他们接近一种代价函数形式 一种weight dec...

  • BP算法

    https://zhuanlan.zhihu.com/p/28821475

  • TensorFlow系列专题(五):BP算法原理

    一.反向传播算法 反向传播算法[1](Backpropagation Algorithm,简称BP算法)是深度学习...

  • (九)神经网络之BP网络

    一. 算法描述 BP网络和感知机一样,是前馈神经网络的代表,不同在于BP网络是一种多层且复杂的神经网络。而BP算法...

  • 神经网络——BP算法

    一、BP算法的意义 对于初学者来说,了解了一个算法的重要意义,往往会引起他对算法本身的重视。BP(Back Pro...

网友评论

      本文标题:BP算法

      本文链接:https://www.haomeiwen.com/subject/lhhhkxtx.html