本文主要整理自下面的几篇博客：
1、深度神经网络（DNN）反向传播算法(BP)：https://www.cnblogs.com/pinard/p/6422831.html
2、机器学习中的矩阵、向量求导。https://download.csdn.net/download/weixin_42074867/10405246

1、推导BPNN前需要了解的矩阵求导知识

1.1 矩阵／向量值函数对实数的导数

1.2 实值函数对矩阵／向量的导数

1.3 向量值函数对向量的求导(雅可比矩阵)

1.4 变量多次出现的求导法则

规则：若在函数表达式中，某个变量出现了多次，可以单独计算函数对自变量的每一次出现的导数，再把结果加起来。

1.5 向量求导的链式法则

1.6 一一对应关系下的矩阵求导

1.7 几个重要的结论

掌握了上面的一些基本知识之后，我们就可以顺利推导出神经网络的反向传播算法。

2、反向传播的推导

具体的推导过程可以参考文章开头给出的博客，下图是我手动推导的过程：