矩阵求导与最小二乘法

矩阵求导与最小二乘法

作者: 热爱生活的大川 | 来源:发表于2019-09-28 20:56 被阅读0次

一、矩阵求导

矩阵求导就是对内部每一项求导
$F \in R^{a*b}, X \in R^{m*n}$
$\frac{\partial{F}}{\partial{X}} = \left[\frac{\partial{F}}{\partial{x_{ij}}}\right]_{m*n}$ ， $\frac{\partial{F}}{\partial{x}} = \left[\frac{\partial{f_{ij}}}{\partial{x}}\right]_{a*b}$
矩阵的迹有如下性质：
- $tr(AB)=tr(BA)$
- $tr(A^T)=tr(A)$

因而可推出如下性质：设 $x=(x_{ij})_{m*1}$

$\frac{\partial{x^TA}}{\partial{x}} = A$
$\frac{\partial{tr(AB)}}{\partial{A}} = B^T$
$\frac{\partial{tr(ABA^TC)}}{\partial{A}} = C^TAB^T+CAB$ ，相当于分别对 $A$ 和 $A^T$ 取偏导后相加
$\frac{\partial{x^TAy}}{\partial{A}} = \frac{\partial{tr(x^TAy)}}{\partial{A}} = xy^T$ ，分子为标量可看做矩阵的迹

二、最小二乘法

已知 $X \in R^{m*n}$ 为参数矩阵，对应标签值为 $y \in R^{m*1}$
引入参数 $\theta \in R^{n*1}$ ，构造 $\hat{y}=X\theta$ ，令最小化目标函数为 $L=\frac{1}{2}(y-X\theta)^T(y-X\theta)$ ，可求出 $\theta=(X^TX)^{-1}X^Ty$ .
推导方法：
$\begin{align} \frac{\partial{L}}{\partial\theta} & = \frac{\partial{tr((y-X\theta)^T(y-X\theta))}}{2\partial{\theta}} \\ & = \frac{\partial{tr(\theta^TX^TX\theta)}-\partial{tr(2\theta^TX^Ty)}}{2\partial{\theta}} \\ & = X^TX\theta - X^Ty \\ let & = 0 \\ \theta & =(X^TX)^{-1}X^Ty \end{align}$

相关文章

网友评论

本文标题：矩阵求导与最小二乘法

本文链接：https://www.haomeiwen.com/subject/xjitpctx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|矩阵求导与最小二乘法|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！