矩阵求导

作者: To_QT | 来源:发表于2019-06-08 15:13 被阅读0次

向量，矩阵，张量求导法则
矩阵求导
矩阵的导数运算
矩阵
数学基础
矩阵求导与最小二乘法
矩阵求导
矩阵求导
矩阵求导
矩阵求导

这篇文章讲的太好！！！

向量对标量的求导

计算

$\boldsymbol{y}=[y_1, y_2, ..., y_n]^T$ 对标量 $x$ 求导：
$\frac {\partial{\boldsymbol{y}}}{ \partial{x}} = \begin{bmatrix} \frac {\partial{y_1}}{ \partial{x}} \\ \frac {\partial{y_2}}{ \partial{x}} \\ ... \\ \frac {\partial{y_n}}{ \partial{x}} \end{bmatrix}$

物理意义

$\boldsymbol{y}$ 的切向量。物体在 $t$ 时间段内的位移为 $s(t)$ 则速度 $\boldsymbol{v}$ 就是其切向量。

标量对向量的求导

计算

标量 $y$ 对 $\boldsymbol{x}=[x_1, x_2, ..., x_n]^T$ 求导：
$\frac {\partial{y}}{ \partial{\boldsymbol{x}}} = \begin{bmatrix} \frac {\partial{y_1}}{ \partial{x}} \ \frac {\partial{y_2}}{ \partial{x}} \ ... \ \frac {\partial{y_n}}{ \partial{x}} \end{bmatrix}$

物理意义

表示 $y$ 的梯度（其独立坐标也就是 $y$ 在向量 $\boldsymbol{x}$ 张成的空间中的分量）。方向梯度记为 $\bigtriangledown _u f(\boldsymbol{x})$

向量对向量的求导

计算（雅可比矩阵）

向量 $\boldsymbol{y}=[y_1, y_2, ..., y_m]^T$ 对 $\boldsymbol{x}=[x_1, x_2, ..., x_n]^T$ 求导：
$\frac {\partial{\boldsymbol{y}}}{ \partial{\boldsymbol{x}}} = \begin{bmatrix} \frac {\partial{y_1}}{ \partial{x_1}} & \frac {\partial{y_1}}{ \partial{x_2}} & ... & \frac {\partial{y_1}}{ \partial{x_n}} \\ \frac {\partial{y_2}}{ \partial{x_1}} & \frac {\partial{y_2}}{ \partial{x_2}} & ... & \frac {\partial{y_2}}{ \partial{x_n}} \\ ... & ... & ... & ... \\ \frac {\partial{y_m}}{ \partial{x_1}} & \frac {\partial{y_m}}{ \partial{x_2}} & ... & \frac {\partial{y_m}}{ \partial{x_n}} \end{bmatrix}$

矩阵对标量的求导

计算

矩阵 $\boldsymbol{y}=[y_1, y_2, ..., y_n]^T$ 对 $x$ 求导：
$\frac {\partial{\boldsymbol{y}}}{ \partial{\boldsymbol{x}}} = \begin{bmatrix} \frac {\partial{y_{11}}}{ \partial{x}} & \frac {\partial{y_{12}}}{ \partial{x}} & ... & \frac {\partial{y_{1n}}}{ \partial{x}} \\ \frac {\partial{y_{21}}}{ \partial{x}} & \frac {\partial{y_{22}}}{ \partial{x}} & ... & \frac {\partial{y_{2n}}}{ \partial{x}} \\ ... & ... & ... & ... \\ \frac {\partial{y_{n1}}}{ \partial{x}} & \frac {\partial{y_{n2}}}{ \partial{x}} & ... & \frac {\partial{y_{nn}}}{ \partial{x}} \end{bmatrix}$

标量对矩阵的求导

计算

矩阵 $y$ 对 $\boldsymbol{x}=[x_1, x_2, ..., x_n]^T$ 求导：
$\frac {\partial{\boldsymbol{y}}}{ \partial{\boldsymbol{x}}} = \begin{bmatrix} \frac {\partial{y}}{ \partial{x_{11}}} & \frac {\partial{y}}{ \partial{x_{12}}} & ... & \frac {\partial{y}}{ \partial{x_{1n}}} \\ \frac {\partial{y}}{ \partial{x_{21}}} & \frac {\partial{y}}{ \partial{x_{22}}} & ... & \frac {\partial{y}}{ \partial{x_{2n}}} \\ ... & ... & ... & ... \\ \frac {\partial{y}}{ \partial{x_{n1}}} & \frac {\partial{y}}{ \partial{x_{n2}}} & ... & \frac {\partial{y}}{ \partial{ x_{nn}}} \end{bmatrix}$