人生第一篇博客 -- 线性回归矩阵推导

作者: 人生一场梦163 | 来源:发表于2019-10-15 22:21 被阅读0次

人生第一篇博客 -- 线性回归矩阵推导
learnfromzero_0
第四回多元线性回归
04 多元线性回归
ML01-线性回归
线性模型——多元线性回归算法推导
[FM]从线性回归到FM模型
线性回归与逻辑回归
多元线性回归推导 — Multi-Variable Linear
多元logistic回归矩阵推导

最近打算重新学习机器学习算法，这篇文章记录线性回归模型。

一、线性回归

给定由 $d$ 个属性描述的示例 $\pmb x=(x_1,x_2,...,x_d)$ ，其中 $x_i$ 是 $\pmb x$ 在第 $i$ 个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即
$f(\pmb x)=w_1x_1+w_2x_2+...+w_dx_d+b,\tag{1}$
一般用向量形式写成
$f(\pmb x)=\pmb w^{\rm{T}} \pmb{x}+b,\tag{2}$
其中 $\pmb w=(w_1,w_2,...,w_d)$ 。 $\pmb w$ 和 $b$ 学得之后，模型就得以确定。

二、算法求解

利用最小二乘对 $\pmb w$ 和 $b$ 进行估计，将给定数据集 $D$ 表示为一个 $m × (d+1)$ 大小的矩阵 $\bf X$ ，其中每行对应于一个示例，该行前 $d$ 个元素对应于示例的 $d$ 个属性值，最后一个元素恒置为1，即 $\begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1d} & 1 \\ x_{21} & x_{22} & \cdots & x_{2d} & 1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{md} & 1 \\ \end{pmatrix} = \begin{pmatrix} x_1^{\rm T} &1 \\ x_2^{\rm T} &1 \\ \vdots & \vdots \\ x_m^{\rm T} &1 \\ \end{pmatrix},$
再把标记（标签）写成向量形式 $\pmb y=(y_1,y_2,...,y_m)$ ，则此优化问题为
$\hat {\pmb w}^*=\mathop{\arg\min}_{\hat{ \pmb w}} (\pmb y - {\bf{X}} \hat{\pmb w})^{\rm T} (\pmb y - {\bf{X}} \hat{\pmb w}). \tag{3}$
令 $E_{\hat{\pmb w}}= (\pmb y - {\bf{X}} \hat{\pmb w})^{\rm T} (\pmb y - {\bf{X}} \hat{\pmb w})$ ，对 $\hat{\pmb w}$ 求导得到
$\frac{\partial E_{\hat{\pmb w}}}{\partial {\hat{\pmb w}}}=2{\bf X}^{\rm T}({\bf X}\hat{\pmb w}-\pmb y). \tag{4}$
西瓜书并没有给出求导过程，现在给出推导过程如下
$\begin{split} E_{\hat{\pmb w}} &= {\pmb y}^{\rm T}{\pmb y}-{\pmb y}^{\rm T}{\bf X}{\hat{\pmb w}} - \hat{\pmb w}^{\rm T}{\bf X}^{\rm T} \pmb y + \hat{\pmb w}^{\rm T} {\bf X}^{\rm T} {\bf X}\hat{\pmb w} \\ &={\pmb y}^{\rm T}{\pmb y}-{\pmb y}^{\rm T}{\bf X}{\hat{\pmb w}} -(\pmb y^{\rm T} {\bf X} \hat{\pmb w})^{\rm T} + \hat{\pmb w}^{\rm T} {\bf X}^{\rm T} {\bf X}\hat{\pmb w} \\ &={\pmb y}^{\rm T}{\pmb y}-2{\pmb y}^{\rm T}{\bf X}{\hat{\pmb w}} + \hat{\pmb w}^{\rm T} {\bf X}^{\rm T} {\bf X}\hat{\pmb w} \end{split} \tag{5}$
对 $\hat{\pmb w}$ 求导得到
$\frac{\partial E_{\hat{\pmb w}}}{\partial {\hat{\pmb w}}}=-2\pmb y^{\rm T} {\bf X} + 2{\bf X}^{\rm T} {\bf X} \hat{\pmb w} =2{\bf X}^{\rm T}({\bf X}\hat{\pmb w}-\pmb y).\tag{6}$
令上式等于零，可得到 $\hat{\pmb w}$ 最优解的闭式解（解析解）。但是由于涉及矩阵逆的计算，需要分类讨论。

当 ${\bf X}^{\rm T}{\bf X}$ 为满秩矩阵或正定矩阵式，令上式等于零可得 ${\hat{\pmb w}}^* = ({\bf X}^{\rm T}{\bf X})^{-1} {\bf X}^{\rm T} \pmb y.\tag{7}$
但是实际任务中 ${\bf X}^{\rm T}{\bf X}$ 往往不是满秩矩阵，任务的变量数超过样例数，导致 $\bf X$ 的列数多于行数，此时可求出多个 $\hat{\pmb w}$ ，它们都能使均方误差最小化，对于这种情况，实际常见的做法是引入正则化（regularization）项。

reference

[1]《机器学习》. 周志华 . 2017
[2] Markdown 数学公式语法 . 2019

人生第一篇博客 -- 线性回归矩阵推导
最近打算重新学习机器学习算法，这篇文章记录线性回归模型。一、线性回归给定由个属性描述的示例，其中是在第个属性上...
learnfromzero_0
一、线性回归 1 流程线性回归：1 通过可视化寻找模型->2 表示和推导模型->表示方式使用矩阵，向量内积、点积...
第四回多元线性回归
1.多元线性回归模型一般的多元线性回归模型可以写为：全部写出来有如下：其中矩阵X为： 2.OLS估计量的推导...
04 多元线性回归
1.多元线性回归模型一般的多元线性回归模型可以写为：全部写出来有如下：其中矩阵X为： 2.OLS估计量的推导...
ML01-线性回归
本主题主要说明线性回归的理论基础与应用：线性回归的数学基础；线性回归的数学推导；线性回归的numpy，scipy，...
线性模型——多元线性回归算法推导
目录· 一、多元线性回归推导二、总结多元线性回归推导整体思路：步骤： 1、将w和b组合成: 凸集定义：设集...
[FM]从线性回归到FM模型
一.线性回归线性回归是万物之源，其基本思想贯穿了很多算法的推导中。线性回归的模型是： ...
线性回归与逻辑回归
一、线性回归（1）线性回归的数学定义数据模型（2）线性回归的数学定义（矩阵表达）数据模型解析解（...
多元线性回归推导 — Multi-Variable Linear
多元线性回归推导 — Multi-Variable Linear Regression Derivation
多元logistic回归矩阵推导
网上的文章很少多元logistic回归的矩阵推导, 这里写一下我的推导, 欢迎交流.