线性回归

• 单变量线性回归
• 多变量线性回归
• 局限性
• 梯度下降法
• 优点
• 缺点

单变量线性回归

• 模型
  线性回归假设数据集中每个yi和xi之间存在一种线性关系，针对这种未知的线性关系可以提出如下的假设函数h(x)：

屏幕快照 2018-02-24 上午11.55.26.png

那么接下来我们要通过损失函数来选择最好的模型。

• 损失函数

  
  屏幕快照 2018-02-24 上午11.16.27.png

除以m代表均方误差，平方和除以2便于求导。

此时我们分别对W0和W1求导，可以算出来W0和W1的值。

屏幕快照 2018-02-24 上午11.57.56.png

多变量线性回归

• 模型

  
  屏幕快照 2018-02-24 上午11.53.42.png

屏幕快照 2018-02-24 上午11.27.44.png

• 损失函数

  
  屏幕快照 2018-02-24 上午11.25.44.png
  

  写出矩阵形式。

屏幕快照 2018-02-24 上午11.59.06.png

继续求导可以算出W的值。

屏幕快照 2018-02-24 下午12.01.17.png

局限性

1.X逆转不存在
2.样本特征n非常大时，逆转计算很耗时
3.如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用
4.一些特殊情况；当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据

梯度下降法

开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum）。直白的话说，梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快。如图所示。

屏幕快照 2018-02-24 下午3.48.12.png 屏幕快照 2018-02-24 下午4.02.56.png

上面是一个简单的图，明显当斜率为0的时候损失函数为最小值。我们随机选择一个位置，当此点斜率大于0的时候，所以损失函数有上升趋势，那么我们就需要减少θ的值，反之增加。梯度下降法就是根据斜率来调整θ，从而确定最小损失函数的过程。

算法步骤如下：

1.随机选择一组θ
2.不断的变化θ，让损失函数J（θ）变小

屏幕快照 2018-02-24 下午3.53.15.png

α 是代表学习速率（过小的话可能会导致进行很多次，过大的话可能会直接越过损失函数最小点），右边那部分是损失函数J（θ）对θ的偏导数。

特点

解析解

优点

简单，存在解析解

缺点

不能拟合非线性数据，存在欠拟合。

程序员的机器学习笔记－第三篇 线性回归