反向传播（BP）算法

在神经网络训练过程中，反向传播可以说是迄今为止用途最成功的算法。而其本质可以说是非常简单：多元函数微分链式法则。同时再用一些trick降低计算量。下面具体说明反向传播的过程。

首先要明确的一点就是，反向传播是在运行梯度下降时，通过靠后的神经元层的梯度来计算考前的神经元层的梯度的，也就是说，这个算法就是用来算梯度的。

以单隐含层的神经网络为例说明，如上图的神经网络中对于训练集中的某个点，假设激活函数为sigmoid，那么我们有

其中为二阶张量，即第一隐含层的权重矩阵，如果我们采用均方误差，那么我们的目标函数（cost function）为

BP算法基于的梯度下降（gradient desent）中每一步改变的量为

现在我们基于链式法则分解这个微分项

其中为中的某一项，为对应单元未经过激活前的值，注意到

那么记

注意到，都是可以直接计算（激活函数和目标函数的一阶微分）的，所以原公式更新为

由该公式可以有效地更新，下面来看梯度是如何传播的。

设输入层到隐含层的权重矩阵为，即

同上对于中的每一项，有

其中为中的每一项，为线性结果。我们采用类似上面的处理，记

我们看到，传播的代价就是相比之前多了一次求和，这样没传播一次，只需进行规模的多重和，和计算激活函数的导数，如果激活函数的导数再具有一些性质，计算将变得更加简单，例如sigmoid函数

这将进一步简化之前的公式。