美文网首页
最小二乘法的矩阵形式推导

最小二乘法的矩阵形式推导

作者: 若罗 | 来源:发表于2019-05-14 13:57 被阅读0次

预测公式如下，Ｘ为`$m*n$`特征矩阵，ｗ为权重，

Predict = Xw

误差为

Error = \|Xw - y\|

我们的目标是求最小化的误差

MinError = \min_{{w}\in{R^n}}\|Xw - y\|= (Xw-y)^T*(Xw-y)=w^TX^TXw -y^TXw-w^TX^Ty+y^Ty

在矩阵论中，有一些向量对向量求导的公式

{\partial{x^Ta}\over{\partial{x}}}={\partial{a^Tx}\over{\partial{x}}}={a}\frac{\partial{x^TAx}}{\partial{x}}=Ax+A^Tx

如果A是对称矩阵

Ax+A^Tx=2Ax

利用上述两个公式，将误差求导，导数为0即为极值点

{\partial{MinError}\over{\partial{w}}}=2X^TXw-2X^Ty=0

化简

w = (X^TX)^{-1}X^Ty

OK

相关文章

  • 最小二乘法的矩阵形式推导

    预测公式如下，Ｘ为`$m*n$`特征矩阵，ｗ为权重， 误差为 我们的目标是求最小化的误差 在矩阵论中，有一些向量对...

  • 理论-线性回归

    2018.04.25更新： 最小二乘法公式推导 谷歌关键词：机器学习 最小二乘法 线性回归 公式推导 参考链接： ...

  • 最小二乘法矩阵推导及实现

    1.一般最小二乘法： 假设存在矩阵B，使得XB-Y=0，然后经过2步简单的公式转换 三步到位，是不是很简单。但X矩...

  • Jensen不等式

    （hessan矩阵是根据泰勒公式推导）

  • 线性模型

    基本形式：   一般形式：  向量形式： 线性回归： 最小二乘法:   最小二乘法就是试图找到一条直线，使所有样本...

  • 多元logistic回归矩阵推导

    网上的文章很少多元logistic回归的矩阵推导, 这里写一下我的推导, 欢迎交流.

  • 投影矩阵推导

    1、正交投影 上图就是unity中的摄像机，把摄像机设置为正交投影，我们可以在inspector界面调整clipp...

  • BLOSUM矩阵的推导

    BLOSUM62是应用得最广的氨基酸替换矩阵，是BLAST中蛋白质序列比对的默认矩阵。 1. 如何下载替换计分矩阵...

  • 推荐系统 - ALS算法

    ALS简介 ALS算法中文翻译为 交替最小二乘法，其是一种矩阵分解算法；使用两个矩阵拟合用户 - 商品评分矩阵；为...

  • 最小二乘法推导

网友评论

      本文标题：最小二乘法的矩阵形式推导

      本文链接：https://www.haomeiwen.com/subject/lyqsaqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|最小二乘法的矩阵形式推导|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！