矩阵求导与最小二乘法

作者: 热爱生活的大川 | 来源:发表于2019-09-28 20:56 被阅读0次

矩阵求导与最小二乘法
向量，矩阵，张量求导法则
矩阵求导
矩阵的导数运算
矩阵
数学基础
最小二乘法及矩阵求导
矩阵求导
矩阵求导
矩阵求导

一、矩阵求导

矩阵求导就是对内部每一项求导
$F \in R^{a*b}, X \in R^{m*n}$
$\frac{\partial{F}}{\partial{X}} = \left[\frac{\partial{F}}{\partial{x_{ij}}}\right]_{m*n}$ ， $\frac{\partial{F}}{\partial{x}} = \left[\frac{\partial{f_{ij}}}{\partial{x}}\right]_{a*b}$
矩阵的迹有如下性质：
- $tr(AB)=tr(BA)$
- $tr(A^T)=tr(A)$

因而可推出如下性质：设 $x=(x_{ij})_{m*1}$

$\frac{\partial{x^TA}}{\partial{x}} = A$
$\frac{\partial{tr(AB)}}{\partial{A}} = B^T$
$\frac{\partial{tr(ABA^TC)}}{\partial{A}} = C^TAB^T+CAB$ ，相当于分别对 $A$ 和 $A^T$ 取偏导后相加
$\frac{\partial{x^TAy}}{\partial{A}} = \frac{\partial{tr(x^TAy)}}{\partial{A}} = xy^T$ ，分子为标量可看做矩阵的迹

二、最小二乘法

已知 $X \in R^{m*n}$ 为参数矩阵，对应标签值为 $y \in R^{m*1}$
引入参数 $\theta \in R^{n*1}$ ，构造 $\hat{y}=X\theta$ ，令最小化目标函数为 $L=\frac{1}{2}(y-X\theta)^T(y-X\theta)$ ，可求出 $\theta=(X^TX)^{-1}X^Ty$ .
推导方法：
$\begin{align} \frac{\partial{L}}{\partial\theta} & = \frac{\partial{tr((y-X\theta)^T(y-X\theta))}}{2\partial{\theta}} \\ & = \frac{\partial{tr(\theta^TX^TX\theta)}-\partial{tr(2\theta^TX^Ty)}}{2\partial{\theta}} \\ & = X^TX\theta - X^Ty \\ let & = 0 \\ \theta & =(X^TX)^{-1}X^Ty \end{align}$