对向量求导和对矩阵求导

作者: Jarkata | 来源:发表于2021-02-26 22:27 被阅读0次

向量，矩阵，张量求导法则
矩阵的导数运算
公式推导公式表
对向量求导和对矩阵求导
向量和矩阵求导
矩阵向量求导
机器学习中矩阵求导规则
机器学习中的矩阵、向量求导
矩阵
矩阵求导

对一个数求导大家都比较熟悉，那么对向量求导呢？看如下的例子：
假设有矩阵 $A$ 和向量 $\boldsymbol{x}$ ：
$A= \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots\ & a_{mn} \\ \end{bmatrix}, \vec{x}=\begin{pmatrix} x_1\\ x_2\\ \vdots \\ x_n \end{pmatrix}$

很容易求出，
$A\cdot \vec x = \begin{pmatrix} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n \\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n \\ \vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n \\ \end{pmatrix}$

现在令 $\vec{y}=A\vec{x}$ ，则向量 $\vec{y}$ 对向量 $\vec{x}$ 求偏导的结果为多少？
既然是向量 $\vec{y}$ 对向量 $\vec{x}$ 求偏导，则需要让向量 $\vec{y}$ 中的每一个元素对向量 $\vec{x}$ 中的每一个元素求偏导。
向量 $\vec{y}$ 可以写成
$\vec{y}= \begin{pmatrix} y_1\\ y_2\\ \vdots\\ y_m \end{pmatrix}$
其中 $y_i=a_{i1}x_1+a_{i2}x_2+...+a_{in}x_n$

若采用分母布局，则 $\frac{\partial{\vec{y}}}{\partial{\vec{x}}}= \begin{bmatrix} \frac{\partial{y_1}}{\partial{x_1}}&\frac{\partial{y_2}}{\partial{x_1}}&\cdots&\frac{\partial{y_m}}{\partial{x_1}} \\ \frac{\partial{y_1}}{\partial{x_2}}&\frac{\partial{y_2}}{\partial{x_2}}&\cdots&\frac{\partial{y_m}}{\partial{x_2}} \\ \vdots&\vdots&\ddots&\vdots \\ \frac{\partial{y_1}}{\partial{x_n}}&\frac{\partial{y_2}}{\partial{x_n}}&\cdots&\frac{\partial{y_m}}{\partial{x_n}} \\ \end{bmatrix}$

而 $\frac{\partial{y_j}}{\partial{x_i}}=a_{ji}$ ，故 $\left(\frac{\partial{\vec{y}}}{\partial{\vec{x}}}\right)_{ij}=a_{ji}$ ，从而 $\frac{\partial{\vec{y}}}{\partial{\vec{x}}}=A^T$

总结即为:
$\frac{\partial{\vec{y}}}{\partial{\vec{x}}}=\frac{\partial{A\vec{x}}}{\partial{\vec{x}}}=\begin{bmatrix} \frac{\partial{y_1}}{\partial{x_1}}&\frac{\partial{y_2}}{\partial{x_1}}&\cdots&\frac{\partial{y_m}}{\partial{x_1}} \\ \frac{\partial{y_1}}{\partial{x_2}}&\frac{\partial{y_2}}{\partial{x_2}}&\cdots&\frac{\partial{y_m}}{\partial{x_2}} \\ \vdots&\vdots&\ddots&\vdots \\ \frac{\partial{y_1}}{\partial{x_n}}&\frac{\partial{y_2}}{\partial{x_n}}&\cdots&\frac{\partial{y_m}}{\partial{x_n}} \\ \end{bmatrix}= \begin{bmatrix} a_{11} & a_{21} & \cdots & a_{n1} \\ a_{12} & a_{22} & \cdots & a_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1m} & a_{2m} & \cdots\ & a_{nm} \\ \end{bmatrix} =A^T$

结论与推广

总结出几个向量偏导公式：

向量对向量求导

标量对向量求导

如果 $y=x^TAx$ 的话， $y$ 对向量 $x$ 求偏导的结果是：

如果这时有

A

是对称阵，则：

标量对方阵的求导

关于更多矩阵求导的详细概念

矩阵求导公式的数学推导（矩阵求导——基础篇） - Iterator的文章 - 知乎
https://zhuanlan.zhihu.com/p/273729929
矩阵求导的本质与分子布局、分母布局的本质（矩阵求导——本质篇） - Iterator的文章 - 知乎
https://zhuanlan.zhihu.com/p/263777564