最小二乘法的矩阵形式推导

作者: 若罗 | 来源:发表于2019-05-14 13:57 被阅读0次

预测公式如下，Ｘ为`$m*n$`特征矩阵，ｗ为权重，

$Predict = Xw$

误差为

$Error = \|Xw - y\|$

我们的目标是求最小化的误差

$MinError = \min_{{w}\in{R^n}}\|Xw - y\|= (Xw-y)^T*(Xw-y)=w^TX^TXw -y^TXw-w^TX^Ty+y^Ty$

在矩阵论中，有一些向量对向量求导的公式

${\partial{x^Ta}\over{\partial{x}}}={\partial{a^Tx}\over{\partial{x}}}={a}\frac{\partial{x^TAx}}{\partial{x}}=Ax+A^Tx$

如果A是对称矩阵

$Ax+A^Tx=2Ax$

利用上述两个公式，将误差求导，导数为0即为极值点

${\partial{MinError}\over{\partial{w}}}=2X^TXw-2X^Ty=0$

化简

$w = (X^TX)^{-1}X^Ty$

网友评论

本文标题：最小二乘法的矩阵形式推导

本文链接：https://www.haomeiwen.com/subject/lyqsaqtx.html

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！