数学基础：最小二乘法

作者: 陆仔的自在生活 | 来源:发表于2023-01-09 18:18 被阅读0次

最小二乘法
基础
机器学习：最小二乘、正则化和广义线性模型
深度学习数学基础一--最小二乘法
matlab使用最小二乘法拟合平面
最小二乘法多项式曲线拟合原理与实现（数学公式详细推导，代码方面详
最小二乘法
高数中让我感觉妙得拍大腿的最小二乘法，都悟出人生大道理了
损失函数、最小二乘法、梯度下降法
移动最小二乘法（MLS）对图像进行变形

最小二乘法可以用来求解线性回归模型中权重参数 $\boldsymbol{w}$ 的最优解，本文将对这一求解过程做简要概述。

线性回归模型

对于第 $i$ 个样本 ( $i = 1, \cdots,m$ )，我们有：
$y_{i} = w_0 + w_{1}x_{i1} + ... + w_{n}x_{in} + \epsilon_{i}$
其中， $y_{i}$ 为样本 $i$ 的标签， $x_{i1},\cdots, x_{in}$ 为样本 $i$ 的 $n$ 个特征的值, $w_{0}, w_{1}, \cdots, w_{n}$ 为模型参数， $\epsilon_{i}$ 为随机误差。

用矩阵形式表示

$\boldsymbol{y} = \boldsymbol{X} \boldsymbol{w} + \boldsymbol{\epsilon}$

其中，
$\boldsymbol{X} = \left[ \begin{matrix} 1 & x_{11} & x_{12} & ... & x_{1n} \\ 1 & x_{21} & x_{22} & ... & x_{2n} \\ \vdots & \vdots & \vdots & ... & \vdots \\ 1 & x_{m1} & x_{m2} & ... & x_{mn} \end{matrix} \right]$ ，为特征矩阵；

$\boldsymbol{y} = \left[ \begin{matrix} y_{1} \\ y_{2} \\ \vdots \\ y_{m} \end{matrix} \right]$ ，为样本真实标签向量；

$\boldsymbol{w} = \left[ \begin{matrix} w_{0} \\ w_{1} \\ \vdots \\ w_{n} \end{matrix} \right]$ ，为模型参数向量（未知，需估计）；

$\boldsymbol{\epsilon}= \left[ \begin{matrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{m} \end{matrix} \right]$ ，为随机误差向量。

模型预测值 $\hat{\boldsymbol{y}}$

$\hat{\boldsymbol{y}} = \boldsymbol{X} \hat{\boldsymbol{w}}$

预测值和真实值的误差平方和 SSE (Sum of Squared Error)

$\begin{aligned} SSE &= \sum_{i=1}^{m} (y_i - \hat{y}_i)^2 \\ &= (\boldsymbol{y} - \hat{\boldsymbol{y}})^{T} (\boldsymbol{y} - \hat{\boldsymbol{y}}) \\ &= (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{w}})^{T} (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{w}}) \\ &= \boldsymbol{y}^{T}\boldsymbol{y} - \boldsymbol{y}^{T}\boldsymbol{X} \hat{\boldsymbol{w}} - \hat{\boldsymbol{w}}^{T}\boldsymbol{X}^{T} \boldsymbol{y} + \hat{\boldsymbol{w}}^{T}\boldsymbol{X}^{T}\boldsymbol{X} \hat{\boldsymbol{w}} \end{aligned}$

$SSE$ 对 $\hat{\boldsymbol{w}}$ 求导：

$\frac{\partial SSE}{\partial \hat{\boldsymbol{w}}} = -\boldsymbol{X}^{T}\boldsymbol{y} - \boldsymbol{X}^{T}\boldsymbol{y} + 2\boldsymbol{X}^{T}\boldsymbol{X} \hat{\boldsymbol{w}}$

令 $\frac{\partial SSE}{\partial \hat{\boldsymbol{w}}} = 0$ ，

可得：
$\hat{\boldsymbol{w}} = (\boldsymbol{X}^{T} \boldsymbol{X})^{-1} \boldsymbol{X}^{T} \boldsymbol{y}$

最小二乘法
最近在看线性回归，一步步往下追，追到了最小二乘法公式最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲...
基础
VSLAM基础（二）————相机模型及视觉坐标系 VSLAM基础（四）————RANSAC、最小二乘法、DLT
机器学习：最小二乘、正则化和广义线性模型
1. 最小二乘法（Least squares）最小二乘法是一种数学优化技术，它通过最小化误差的平方来寻找数据的最...
深度学习数学基础一--最小二乘法
之前总是先上手一些比较高级的神经网络算法，CNN，RNN等。可是总觉得有些知识原理总是羁绊着我进一步理解。这才意识...
matlab使用最小二乘法拟合平面
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以...
最小二乘法多项式曲线拟合原理与实现（数学公式详细推导，代码方面详
最小二乘法概念：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利...
最小二乘法
1. 转自：【豆丁推荐】-最小二乘法原理在既有线测量中的应用 - 豆丁网最小二乘法即最小平方法，是一种数学优化技...
高数中让我感觉妙得拍大腿的最小二乘法，都悟出人生大道理了
最小二乘法是为了解线性方程组。而这个线性方程组，又涉及到我们中学阶段学的数学基础知识。也就是我们前面的文章里介绍过...
损失函数、最小二乘法、梯度下降法
损失函数与最小二乘法的区别？最小二乘法与梯度下降法区别？之前一直认为损失函数就是最小二乘法。然后最小二乘法与梯度...
移动最小二乘法（MLS）对图像进行变形
这个算法背后的思想利用了最小二乘法。首先让我们来了解下最小二乘法。最小二乘法最小二乘法也叫做最小平方法。它是一...