美文网首页
2018-02-22

2018-02-22

作者: 越狱_29c6 | 来源:发表于2019-12-01 12:22 被阅读0次

最小二乘法

我们从矩阵的角度来理解：
首先我们给出一个矩阵中的定义：

R(A)=\{Ax|x∈R^n\},A∈R^{n×n}

有了上面的定义之后，我们就可以写出最小二乘问题的矩阵形式：
∃b∉R(A),b∈R^n,\min_{x∈R^n}\parallel Ax−b\parallel _2

用bi格高一点的说法来说，就是求在欧几里得空间中以2-范数作为距离，使得向量Ax与b之间距离最小的x。
我们的目标是求：
min_{x∈R^n}\parallel Ax−\parallel_2

当然我们知道，使得距离最小的向量x与使得距离平方最小的向量x是相同的，于是我们可以将所求的目标改写为：
min_{x∈R^n}{\parallel Ax−b\parallel_2}^2

结合一些矩阵、行列式的知识，我们知道：
{\parallel Ax−b\parallel_2}^2=(Ax−b)^T∗(Ax−b)
根据我们大一学过的高数知识，我们知道，求最极值问题直接对应的就是导数为零，因此我们试图将所给出的原式的矩阵形式求导：

不过首先我们需要补充矩阵微积分(matrix calculus)的一些知识
(PS:是矩阵微积分吧…我没有翻译错吧….)

\frac {\partial x^Ta}{\partial x}=\frac {\partial a^Tx}{\partial x}=a
\frac {\partial x^TAx}{\partial x}=Ax+A^Tx

如果矩阵A是对称的(symmetric matrix):
Ax+A^Tx=2Ax
接下来，我们对原式化简并求其对x的导数：

{∥Ax−b∥_2}^2=x^TA^TAx−b^TAx−x^TA^Tb+b^Tb

求导得到：
\frac {\partial{\parallel Ax−b\parallel}^2}{\partial x}=2A^TAx−2A^Tb=0

于是我们就得到了，最小二乘法解的矩阵形式：
x=(A^TA)^{−1}A^Tb
当然了，这里是最简答的线性最小二乘法，还有更为复杂的非线性以及矩阵A不满秩的情况(hdq说他老师能默写出这个过程…)，等以后有时间了，我会再补充上去的。

相关文章

网友评论

      本文标题：2018-02-22

      本文链接：https://www.haomeiwen.com/subject/tymatftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|2018-02-22|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！