前言

正所谓“编码未动，公式先行”，这里先从最简单的单个隐藏层的情况入手。BP（Back Propagation）神经网络一般是指使用反向传播算法进行训练的多层前馈神经网络。其中，包含单个隐藏层的前馈神经网络是最为典型的一种，通过对其公式进行仔细推导有助于理解BP算法的工作原理。

推导

推导主要用到了链导法则，涉及的参数在如下的示意图中进行了详细的记述。

附录

多层神经网络，从零开始——（一）、Fortran读取MNIST数据集
多层神经网络，从零开始——（二）、Fortran随机生成“双月”分类问题数据
多层神经网络，从零开始——（三）、BP神经网络公式的详细推导
多层神经网络，从零开始——（四）、多层BP神经网络的矩阵形式
多层神经网络，从零开始——（五）、定义数据结构
多层神经网络，从零开始——（六）、激活函数
多层神经网络，从零开始——（七）、损失函数
多层神经网络，从零开始——（八）、分类问题中为什么使用交叉熵作为损失函数
多层神经网络，从零开始——（九）、优化函数
多层神经网络，从零开始——（十）、参数初始化
多层神经网络，从零开始——（十一）、实现训练类
多层神经网络，从零开始——（十二）、实现算例类
多层神经网络，从零开始——（十三）、关于并行计算的简单探讨