机器学习笔记（一）——线性回归理论推导

作者: X_Bryant | 来源:发表于2019-05-20 23:14 被阅读0次

机器学习笔记（一）——线性回归理论推导
【机器学习】单一变量的线性回归及python实现
多元线性回归
ML01-线性回归
2 逻辑回归
Python机器学习基础教程学习笔记（5）——线性模型（回归）
理论-线性回归
逻辑回归从零实现以及PyTorch实现
2018.12.23
QR分解与线性回归

1.前提：

给定由d个属性描述的示例 $x = x1;x2;...;xd$ ,其中 $xi$ 是 $x$ 在第 $i$ 属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数。

原函数(original function)： $yi = \alpha x + \beta*xi$

预测函数(predict function)： $\hat{yi} = \hat{\alpha} + \hat{\beta}*xi$

损失函数（cost function)： $SSE = \sum_{i} \varepsilon^2 = \sum_{i} (yi - \hat{yi})^2$

结果： $\hat{\beta} =\frac{\bar{x} \bar{y} - \bar{xy}}{\bar{x^2} - \bar{x}^2}$ ， $\hat{\alpha} = \bar{y} - \hat{\beta}*\bar{x}$

2.推导过程

(1).残差表达式：

$SSE = (yi - \hat{\alpha} - \hat{\beta}*xi)$

(2).分别对 $\hat{\alpha}$ 和 $\hat{\beta}$ 求导：

$\frac{\partial SSE}{\partial \hat\beta} = 2\sum_{i}(yi - \hat\alpha - \hat\beta xi)*(-1)$

$\frac{\partial SSE}{\partial\hat\alpha}=2\sum_{i}(yixi - \hat\alpha xi - \hat\beta xi^2)*(-1)$

令两个表达式为0，得到一个方程组。

(3).求解方程组：

$\begin{gather}2\sum_{i}(yi - \hat\alpha - \hat\beta xi)*(-1) = 0 \tag{1} \\2\sum_{i}(yixi - \hat\alpha xi - \hat\beta xi^2)*(-1) = 0 \tag{2}\end{gather}$

$(1) * \sum_{i}xi - (2) *n$ 得

$\sum_{i}yi \sum_{i}xi - n\sum_{i}yixi = \hat\beta(\sum_{i}xi\sum_{i}xi - n\sum_{i}xi^2) \tag{3}$

$\frac{(3)}{n^2}$ 得

$\bar y \bar x - \bar{yx} = \hat\beta(\bar x^2 - \bar{x^2}) \tag{4}$

(4).解得 $\hat\beta$ 和 $\hat\alpha$ :

对 $(4)$ 合并同类项得

$\hat{\beta} =\frac{\bar{x} \bar{y} - \bar{xy}}{\bar{x^2} - \bar{x}^2}$

将 $\hat\beta$ 带入 $(1)$ 式得

$\hat{\alpha} = \bar{y} - \hat{\beta}*\bar{x}$

至此，完成了对线性回归得推导，将 $\alpha$ 不断进行迭代，就可以找到最贴近原函数得预测函数或者说使损失函数最小的预测函数。

此片笔记较为粗糙，只是提及了推导部分，因为只是作为学习过程的过度作用，还请没有得到自己需要内容的朋友见谅。

机器学习笔记（一）——线性回归理论推导
1.前提：给定由d个属性描述的示例,其中是在第属性上的取值，线性模型（linear model）试图学得一个通过...
【机器学习】单一变量的线性回归及python实现
一、线性回归理论概述概述大致引用自机器学习之线性回归-AndrewNg学习笔记注意，此文章的意义在于用符号...
多元线性回归
链接：多元线性回归 NG机器学习公开课笔记：机器学习笔记
ML01-线性回归
本主题主要说明线性回归的理论基础与应用：线性回归的数学基础；线性回归的数学推导；线性回归的numpy，scipy，...
2 逻辑回归
逻辑回归是线性回归的变形，看了很多机器学习书籍，吴恩达的课程对线性回归和逻辑回归的讲解非常清晰，原理性和推导都很好...
Python机器学习基础教程学习笔记（5）——线性模型（回归）
Python机器学习基础教程学习笔记（5）——线性模型（回归） 1 线性回归处理wave数据集 1.1 wave数...
理论-线性回归
2018.04.25更新：最小二乘法公式推导谷歌关键词：机器学习最小二乘法线性回归公式推导参考链接： ...
逻辑回归从零实现以及PyTorch实现
逻辑回归原理参考链接：线性分类|机器学习推导系列（四）[https://www.jianshu.com/p/4e7...
2018.12.23
初步学习一些算法的理论和推导，详细的数学有些略微跳过。线性回归，逻辑回归，回归里面的梯度下降方法决策树，随机森林，...
QR分解与线性回归
1 一元回归与多元回归任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，...

机器学习笔记（一）——线性回归理论推导

1.前提：