背景

反向传播训练（Backpropagation）一个神经网络是一种常见的方法。网上并不缺少介绍反向传播是如何工作的论文。但很少包括一个用实际数字的例子。这篇文章是我试图解释它是如何工作的和一个具体的例子, 大家可以对比自己的计算,以确保他们正确理解反向传播。

Python 实现反向传播算法

您可以到 Github 尝试我写的一个反向传播算法Python脚本。

反向传播算法可视化

一个交互式可视化显示神经网络学习过程, 可以看看我的神经网络可视化网站。

额外的资源

果你发现本教程有用,想继续学习神经网络及其应用,我强烈推荐看看Adrian Rosebrock的优秀教程Getting Started with Deep Learning and Python

概述

对于本教程,我们将使用一个有 2 个输入神经元、2 个隐藏的神经元和 2 个输出神经元的神经网络。此外,隐藏层和输出层将包括一个 偏差神经元（Bias）。
这里的基本结构:

（3）

联立（1）（2）（3）得

为了减少误差，我们从当前权重减去这个值（学习率可自定义，这里我们设置为0.5）：

重复这个过程，我们可以得到权重 ω6, ω7, 和 ω8：

我们在得到新的隐藏层神经元的输入权重之后再更新 ω6, ω7, 和 ω8（也就是说，在进行反向传播的时候我们使用旧的权重值）

隐藏层

接下来,我们将继续向后传播，计算新值ω1, ω2, ω3, 和 ω4。
全局来说，我们需要计算

可视化：

我们要用类似计算输出层那样的过程,但略有不同的是：每个隐层神经元的输出会对多个输出神经元的输出和误差产生印象。我们知道out_h1将同时影响out_o1和out_o2（为方便表示，这里用下划线表示下标，下同）。因此 需要同时考虑out_h1对每个输出神经元的影响： 先从

开始：

我们之前计算过 ：

然后

= ω5，因为：

讲两者代入

得：

同理得：

因此，

现在我们计算好了

。

然后我们计算

：

接下来我们计算h1的总输入对ω1求偏导数：

综上所述，

你也可以这么写

现在我们可以更新ω1了：

重复该过程计算 ω1, ω2, 和 ω3：

最后,我们已经更新所有的权重! 我们最初提出 0.05 和 0.1 的输入,网络上的误差为 0.298371109 。第一轮反向传播之后,现在总误差降至 0.291027924 。它可能看起来没有调整太多。但是在这个过程重复 10000 次之后，比如说，误差降到0.000035085。在这一时刻，当我们输入0.05和0.1时，两个输出神经元分别输出0.015912196 ( vs 预期 0.01) and 0.984065734 (vs 预期 0.99) 。

如果你做到这一步，发现任何错误或者能想到更通俗易懂的说明方法，请加我公众号 jinkey-love 交流。

英文原文链接