本文主要整理自下面的几篇博客:
1、深度神经网络(DNN)反向传播算法(BP):https://www.cnblogs.com/pinard/p/6422831.html
2、机器学习中的矩阵、向量求导。https://download.csdn.net/download/weixin_42074867/10405246
1、推导BPNN前需要了解的矩阵求导知识
1.1 矩阵/向量值函数对实数的导数

1.2 实值函数对矩阵/向量的导数

1.3 向量值函数对向量的求导(雅可比矩阵)

1.4 变量多次出现的求导法则
规则:若在函数表达式中,某个变量出现了多次,可以单独计算函数对自变量的每一次出现的导数,再把结果加起来。

1.5 向量求导的链式法则

1.6 一一对应关系下的矩阵求导

1.7 几个重要的结论

掌握了上面的一些基本知识之后,我们就可以顺利推导出神经网络的反向传播算法。
2、反向传播的推导
具体的推导过程可以参考文章开头给出的博客,下图是我手动推导的过程:


网友评论