单变量线性回归

作者: 此间不留白 | 来源:发表于2019-01-10 16:36 被阅读19次

线性回归
吴恩达机器学习（第一周）
Machine Learning - Linear Regres
线性回归及梯度下降
第2章单变量&多变量线性回归
单变量线性回归
单变量线性回归
单变量线性回归
单变量线性回归
单变量线性回归

模型介绍

如图所示，在房价预测中，房间大小与其价格的关系可以简单地看成是一组线性关系，对于每一个房间大小，都有一个房价与其对应。

房价预测模型

下图所示的是一组房价预测模型的训练样本，我们用特定字母表示其特定含义，如下：

房价预测训练样本

$m=$ 训练样本数
$x=$ 输入特征/输入变量
$y=$ 输出特征/目标变量的预测值
通常，可以用 $(x,y)$ 表示一个训练样本(one training example)，用 $(x^(i^),y^(i^))$ ，表示第i个训练样本。

假设函数（hypothesis function）
通常用 $h$ 表示假设函数，训练样本(training set)与假设函数 $h$ 及其输入，输出的的关系如下图简单所示：
假设函数与训练样本之间的关系

在单变量线性回归中，假设函数可以写成如下所示：
$h= \theta_0 + \theta_1x$ ，表示输入输出之间的线性关系。

代价函数（cost function）

对于 $h = \theta_0 + \theta_1x$ 而言，选择不同的 $\theta_0$ 和 $\theta_1$ ，会得到不同的假设函数。在单变量线性回归模型中，提高模型训练的正确率关键在与选择合适的参数。

最小化（minimize）
回归模型的拟合就是要减小预测值与实际值的差，即取得代价函数的最小值，代价函数可以用以下公式表示,其中，m表示训练样本集的大小:
$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=0}^{m}(h_\theta(x_i)-y_i)^2$
一个参数的代价函数
我们的目标就是得到 $J(\theta_0,\theta_1)$ 的最小值。如下图所示，假设 $\theta_0 = 0$ ，那么，对于，每一个 $\theta_1$ 都有都有一个 $h_\theta(x)$ 值，并且唯一对应一个 $J(\theta_1)$ 值，那么，问题就可以简化为·，寻找合适的 $\theta_1$ ，使其满足 $h_\theta(x)$ 的同时，满足 $J(\theta_1)$ 函数，并且使 $J(\theta_1)$ 最小。

一个参数的代价函数与假设函数
两个参数的代价函数表示
以上，讨论了一个参数 $\theta_1$ 的图像及其表示，而有两个未定参数 $\theta_0$ , $\theta_1$ 时的代价函数，其3D图像表示如下所示，其高度代表了代价函数 $J(\theta_0,\theta_1)$ 的大小。

代价函数的三维表示
为了更方便的表示代价函数的意义，通常在平面图形中用类似于等高线的方式表示，显然，同一同心椭圆代表同一高度，代表了同一个 $J(\theta_0,\theta_1)$ 函数和与之对应的 $h_\theta(x)$ 函数。而 $J(\theta_0,\theta_1)$ 的最小值，显然就是同心椭圆的圆心。

代价函数的二维平面表示

梯度下降(Gradient decent)

梯度下降的基本介绍
在梯度下降算法中，首先初始化 $\theta_0$ 和 $\theta_1$ (通常取 $\theta_0=0$ , $\theta_1=0$ )，不断改变 $\theta_0$ 和 $\theta_1$ 的值，寻找 $J(\theta_0,\theta_1)$ 的最小值或者局部最小值。如下图所示，给定初始值，不断朝着下降速度最快的方向，直至最低点（也就是局部最优解）。

梯度下降的三维图像表示
梯度下降算法的数学意义
梯度下降算法用数学公式表示，如下所示：
$repeat$ $until$ $convergence$ {
$\theta_j:= \theta_j-\alpha\frac{\partial}{\partial \theta_j}J(\theta_0,\theta_1)$
$for$ $(j=0$ $and$ $j = 1$ $)$
}

以上公式中， $\alpha$ 代表学习率（learning rate），用来控制梯度下降时，应该迈出多大的步子。 $\alpha$ 越大，代表梯度下降越迅速， $\alpha$ 取值过大，有可能导致梯度下降过程中越过 $J(\theta_0,\theta_1)$ 的最小值，甚至无法收敛。当 $J(\theta_0,\theta_1)$ 是局部最小值时， $J(\theta_0,\theta_1)$ 的导数为0， $\theta_1$ 将不再发生改变。

注意， $\theta_0$ 和 $\theta_1$ 是同时更新的，而不是先更新完 $\theta_0$ 之后，再更新 $\theta_1$ .

如下图所示，随着梯度下降过程的发展， $\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)$ 的值越来越小，直至达到局部最小值，即也就是 $\lim_{t \to \infty}\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=0$ ，其中， $t$ 代表梯度下降算法运行的时间。

梯度下降过程

线性回归中的梯度下降

以上，讨论了代价函数和梯度下降的相关内容，那么如何将梯度下降运用到线性回归中呢？

数学表示
$repeat$ $until$ $convergence$ {
$\theta_0:= \theta_0-\alpha\frac{1}{m}\sum_{i=0}^{m}(h_\theta(x_i)-y_i)^2$
$\theta_1:= \theta_1-\alpha\frac{1}{m}\sum_{i=0}^{m}(h_\theta(x_i)-y_i)^2*x_i$
}
通过以上算法，不断更新迭代，直至收敛，找到合适的 $\theta_0$ 和 $\theta_1$ .

线性回归
单变量线性回归多变量线性回归局限性梯度下降法优点缺点单变量线性回归模型线性回归假设数据集中每个yi和...
吴恩达机器学习（第一周）
1.单变量线性回归(Linear Regression with One Variable) 1.1线性回归算法 ...
Machine Learning - Linear Regres
单变量线性回归 image.png ///////////////////////////////////////...
线性回归及梯度下降
线性回归及梯度下降参考资料：网址本文会讲到： (1) 线性回归的定义 (2) 单变量线性回归 (3) cost...
第2章单变量&多变量线性回归
单变量线性回归梯度下降法 Gradient descent 用梯度下降法最小化代价函数J 多变量线性回归 mul...
单变量线性回归
最近在看吴恩达的机器学习，做个笔记总结总结。方便自己复习吧。主要是学习了梯度下降算法和线性回归算法...
单变量线性回归
模型介绍如图所示，在房价预测中，房间大小与其价格的关系可以简单地看成是一组线性关系，对于每一个房间大小，都有一个...
单变量线性回归
模型描述训练集假设预测出售房子的价格房子大小（x）房子价格(y) 100 646 200 8...
单变量线性回归
模型描述让我们来继续讨论一下房价预测问题，上图分别展示了房价随房屋大小（单位为平米）的变化趋势以及包含这两个特征...
单变量线性回归
本文档基于吴恩达机器学习课程单变量线性回归部分内容，记录自己对该部分内容的理解，并给出了MATLAB代码实现，...