1. Regression回归的应用

股票预测、自动驾驶的角度预测、推荐系统的用户购买可能性。

回归的应用

2. 损失函数

平方损失函数如右图，我们的目的是找到一个使得损失函数最小的w和b。

损失函数

3. 梯度下降

利用梯度下降去求使得损失函数最小的w和b

gradient descent

4. 局部最小值和全局最小值

利用梯度下降的方式会出现局部最小值的问题，但是作者说在线性回归领域不会出现局部最小值的问题【待考究】。

local minimal and global minimal

5. 解释线性回归为什么没有局部最小值

线性回归的损失函数是凸函数(弹幕上讲是U型凸函数)，也就是两边高，中间低，所以就没有局部最小值的问题。

【疑问】什么是凸函数，为什么凸函数没有局部最小值？

右下角的图

6. 根据目标函数做梯度下降

梯度下降

7. 模型选择

模型维度越复杂，训练集上的效果越好，平方损失误差越低。

训练集上效果

但是，维度太高的模型在测试集上的效果很差，这就是过拟合。

过拟合

8. 不同物种的线性回归如何设计

不同物种之间的特性不太一样，那如何redesign线性回归的函数，以适应不同物种能力值的预测

多物种

通过一个信号函数，当属于某一个物种，当前的线性回归表达式乘以1，其他的乘以0。这个信号是存在特征x中。

信号函数

9. L2正则化

加入L2正则化的目的是防止过拟合。

首先L2正则化可以使w的参数越来越小，这个可以从梯度下降下降的公式看出来，梯度更新的时候不仅更新损失函数对w的偏导，还要减去权重之和，所以w的参数值就偏小。

那为什么要让w的参数偏小呢，试想一下，进来了一个噪声样本Xi，经过和线性回归的参数w乘积，就算是噪声样本Xi的某个特征值差的很大，也不会导致最后的预测值偏差太大，相当于平滑(smooth)操作。

正则化

10. 调参