线性回归 及 梯度下降

重点：

1 线性回归定义

2 cost function  损失函数

3 梯度下降

---

线性回归（Linear Regression）

注意！！！

多变量线性回归一定要做特征归一化（Feature scaling）

常用方法

方法：

线性回归属于监督学习，因此跟监督学习的过程思路一致，先根据已知label和数据拟合出线性模型。然后根据此模型可以预测其他数据。在训练过程中，检验模型好坏的标准就是损失函数。损失函数越小，模型的拟合程度越高。

线性回归模型：

为维特征，为维特征权重，为预测值（hypothesis）

---

损失函数（cost function）

cost function: 模型评价标准（并非唯一标准，当前部分损失函数只考虑了模型拟合度，没有考虑模型复杂度），cost function越小，说明拟合训练数据拟合的越好。

cost function公式：

                

其中：

为训练集的数量，为损失函数。

---

梯度下降（Gradient Descent）

梯度下降能够求出一个函数的最小值；

线性回归需要求出，使得cost function最小；

因此我们能够对cost function运用梯度下降，即将梯度下降与线性回归进行整合。

重复迭代下面公式，直至收敛：

即为：