数学基础：最小二乘法

作者: 陆仔的自在生活 | 来源:发表于2023-01-09 18:18 被阅读0次

最小二乘法可以用来求解线性回归模型中权重参数 $\boldsymbol{w}$ 的最优解，本文将对这一求解过程做简要概述。

线性回归模型

对于第 $i$ 个样本 ( $i = 1, \cdots,m$ )，我们有：
$y_{i} = w_0 + w_{1}x_{i1} + ... + w_{n}x_{in} + \epsilon_{i}$
其中， $y_{i}$ 为样本 $i$ 的标签， $x_{i1},\cdots, x_{in}$ 为样本 $i$ 的 $n$ 个特征的值, $w_{0}, w_{1}, \cdots, w_{n}$ 为模型参数， $\epsilon_{i}$ 为随机误差。

用矩阵形式表示

$\boldsymbol{y} = \boldsymbol{X} \boldsymbol{w} + \boldsymbol{\epsilon}$

其中，
$\boldsymbol{X} = \left[ \begin{matrix} 1 & x_{11} & x_{12} & ... & x_{1n} \\ 1 & x_{21} & x_{22} & ... & x_{2n} \\ \vdots & \vdots & \vdots & ... & \vdots \\ 1 & x_{m1} & x_{m2} & ... & x_{mn} \end{matrix} \right]$ ，为特征矩阵；

$\boldsymbol{y} = \left[ \begin{matrix} y_{1} \\ y_{2} \\ \vdots \\ y_{m} \end{matrix} \right]$ ，为样本真实标签向量；

$\boldsymbol{w} = \left[ \begin{matrix} w_{0} \\ w_{1} \\ \vdots \\ w_{n} \end{matrix} \right]$ ，为模型参数向量（未知，需估计）；

$\boldsymbol{\epsilon}= \left[ \begin{matrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{m} \end{matrix} \right]$ ，为随机误差向量。

模型预测值 $\hat{\boldsymbol{y}}$

$\hat{\boldsymbol{y}} = \boldsymbol{X} \hat{\boldsymbol{w}}$

预测值和真实值的误差平方和 SSE (Sum of Squared Error)

$\begin{aligned} SSE &= \sum_{i=1}^{m} (y_i - \hat{y}_i)^2 \\ &= (\boldsymbol{y} - \hat{\boldsymbol{y}})^{T} (\boldsymbol{y} - \hat{\boldsymbol{y}}) \\ &= (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{w}})^{T} (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{w}}) \\ &= \boldsymbol{y}^{T}\boldsymbol{y} - \boldsymbol{y}^{T}\boldsymbol{X} \hat{\boldsymbol{w}} - \hat{\boldsymbol{w}}^{T}\boldsymbol{X}^{T} \boldsymbol{y} + \hat{\boldsymbol{w}}^{T}\boldsymbol{X}^{T}\boldsymbol{X} \hat{\boldsymbol{w}} \end{aligned}$

$SSE$ 对 $\hat{\boldsymbol{w}}$ 求导：

$\frac{\partial SSE}{\partial \hat{\boldsymbol{w}}} = -\boldsymbol{X}^{T}\boldsymbol{y} - \boldsymbol{X}^{T}\boldsymbol{y} + 2\boldsymbol{X}^{T}\boldsymbol{X} \hat{\boldsymbol{w}}$

令 $\frac{\partial SSE}{\partial \hat{\boldsymbol{w}}} = 0$ ，

可得：
$\hat{\boldsymbol{w}} = (\boldsymbol{X}^{T} \boldsymbol{X})^{-1} \boldsymbol{X}^{T} \boldsymbol{y}$

数学基础：最小二乘法

线性回归模型

用矩阵形式表示

模型预测值 $\hat{\boldsymbol{y}}$

预测值和真实值的误差平方和 SSE (Sum of Squared Error)

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读