美文网首页机器学习与数据挖掘
17 BP神经网络算法原理推导和数据演示

17 BP神经网络算法原理推导和数据演示

作者: 7125messi | 来源:发表于2018-06-25 09:47 被阅读0次

    反向传播算法(BackpropagationAlgorithm,简称BP算法)是深度学习的重要思想基础,对于初学者来说也是必须要掌握的基础知识!本文希望以一个清晰的脉络和详细的说明,来让读者彻底明白BP算法的原理和计算过程。

    1.BP算法的推导

    图1一个简单的三层神经网络 图1所示是一个简单的三层(两个隐藏层,一个输出层)神经网络结构,假设我们使用这个神经网络来解决二分类问题,我们给这个网络一个输入样本 ,通过前向运算得到输出 。输出值 的值域为 ,例如

    的值越接近0,代表该样本是“0”类的可能性越大,反之是“1”类的可能性大。

    1.1前向传播的计算

    为了便于理解后续的内容,我们需要先搞清楚前向传播的计算过程,以图1所示的内容为例:

    输入的样本为:

    第一层网络的参数为:

    第二层网络的参数为:

    第三层网络的参数为:

    1.1.1第一层隐藏层的计算

    图2计算第一层隐藏层 第一层隐藏层有三个神经元:

    。该层的输入为:

    神经元为例,则其输入为:

    同理有:

    假设我们选择函数 作为该层的激活函数(图1中的激活函数都标了一个下标,一般情况下,同一层的激活函数都是一样的,不同层可以选择不同的激活函数),那么该层的输出为:

    1.1.2第二层隐藏层的计算

    图3计算第二层隐藏层 第二层隐藏层有两个神经元:

    。该层的输入为:

    即第二层的输入是第一层的输出乘以第二层的权重,再加上第二层的偏置。因此得到

    的输入分别为:

    该层的输出分别为:

    1.1.3输出层的计算

    图4计算输出层 输出层只有一个神经元:

    。该层的输入为:

    即:

    因为该网络要解决的是一个二分类问题,所以输出层的激活函数也可以使用一个Sigmoid型函数,神经网络最后的输出为:

    1.2 反向传播的计算

    在1.1节里,我们已经了解了数据沿着神经网络前向传播的过程,这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数,损失函数定义为

    ,其中

    是该样本的真实类标。使用梯度下降进行参数的学习,我们必须计算出损失函数关于神经网络中各层参数(权重w和偏置b)的偏导数。

    假设我们要对第 层隐藏层的参数 求偏导数,即求 。假设 代表第 层神经元的输入,即 ,其中

    为前一层神经元的输出,则根据链式法则有:

    因此,我们只需要计算偏导数

    1.2.1计算偏导数

    前面说过,第k层神经元的输入为:

    ,因此可以得到:计算偏导数

    上式中, 代表第k层神经元的权重矩阵 的第m行, 代表第k层神经元的权重矩阵

    的第m行中的第n列。

    我们以1.1节中的简单神经网络为例,假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数,则有:

    1.2.2计算偏导数

    因为偏置b是一个常数项,因此偏导数的计算也很简单:

    依然以第一层隐藏层的神经元为例,则有:

    1.2.3计算偏导数

    偏导数

    又称为误差项(error term,也称为“灵敏度”),一般用

    表示,例如

    是第一层神经元的误差项,其值的大小代表了第一层神经元对于最终总误差的影响大小。

    根据第一节的前向计算,我们知道第

    层的输入与第k层的输出之间的关系为:计算偏导数

    又因为 ,根据链式法则,我们可以得到

    为:

    由上式我们可以看到,第k层神经元的误差项 是由第 层的误差项乘以第

    层的权重,再乘以第k层激活函数的导数(梯度)得到的。这就是误差的反向传播。

    现在我们已经计算出了偏导数

    可分别表示为:

    单纯的公式推导看起来有些枯燥,下面我们将实际的数据带入图****1****所示的神经网络中,完整的计算一遍。

    2 图解BP算法

    图5图解BP算法

    我们依然使用如图5所示的简单的神经网络,其中所有参数的初始值如下:输入的样本为(假设其真实类标为“1”):

    第一层网络的参数为:

    第二层网络的参数为:

    第三层网络的参数为:

    假设所有的激活函数均为Logistic函数: 。使用均方误差函数作为损失函数: 为了方便求导,我们将损失函数简为:

    2.1 前向传播

    我们首先初始化神经网络的参数,计算第一层神经元:

    上图中我们计算出了第一层隐藏层的第一个神经元的输入 和输出 ,同理可以计算第二个和第三个神经元的输入和输出: 接下来是第二层隐藏层的计算,首先我们计算第二层的第一个神经元的输入 和输出 同样方法可以计算该层的第二个神经元的输入 和输出 最后计算输出层的输入 和输出

    2.2 误差反向传播

    首先计算输出层的误差项 ,我们的误差函数为

    ,由于该样本的类标为“1”,而预测值为0.997520293823002,因此误差为0.002479706176998,输出层的误差项为:

    接着计算第二层隐藏层的误差项,根据误差项的计算公式有:

    最后是计算第一层隐藏层的误差项:

    2.3 更新参数

    上一小节中我们已经计算出了每一层的误差项,现在我们要利用每一层的误差项和梯度来更新每一层的参数,权重W和偏置b的更新公式如下:

    通常权重W的更新会加上一个正则化项来避免过拟合,这里为了简化计算,我们省去了正则化项。上式中的

    是学习率,我们设其值为0.1。参数更新的计算相对简单,每一层的计算方式都相同,因此本文仅演示第一层隐藏层的参数更新:

    3.小结

    至此,我们已经完整介绍了BP算法的原理,并使用具体的数值做了计算。

    相关文章

      网友评论

        本文标题:17 BP神经网络算法原理推导和数据演示

        本文链接:https://www.haomeiwen.com/subject/nuunjftx.html