矩阵求导（一）

• 矩阵求导（Matrix Derivative）也称作矩阵微分（Matrix Differential），在机器学习、图像处理、最优化等领域的公式推导中经常用到。

1. 布局约定（Layout conventions）

• 布局（Layout）：在矩阵求导中有两种布局，分别为分母布局(denominator layout)和分子布局(numerator layout)。这两种不同布局的求导规则是不一样的。

  
  image.png

2. 关于标量的导数

2.1 标量与标量X的求导

image.png

2.2 向量与标量X的求导

image.png

2.3 矩阵与标量X的求导

image.png

3. 关于向量的导数

3.1 标量关于向量 x 的导数

image.png

3.2 向量关于向量 x 的导数

image.png

3.3 矩阵关于向量 x 的导数

image.png

4. 关于矩阵的导数

image.png

5. 维度分析（没怎么看懂）

• 当我们对一些复杂的矩阵乘积求偏导的时候，直接求很难直接求出，这时候我们可以通过分析矩阵的维度来得到结果。例如:

  
  image.png
  image.png

参考文献

1. https://blog.csdn.net/u010976453/article/details/54381248