线性回归学习笔记

一、“线性回归—从模型函数到目标函数”学习笔记

      1、线性函数： y = a+ bx，就是这章要学的模型函数。要做的是综合利用所有的训练数据求出 y = a + bx 中常数 a 和 b 的值。

      2、线性回归的目标函数

     a、b变成自变量。

     3、线性不是直线。

     线性回归模型是：利用线性函数对一个或多个自变量 （x 或(x1,x2,...xkx1,x2,...xk)）和因变量（y） 之间的关系进行拟合的模型。

      线性函数的定义是：一阶（或更低阶）多项式，或零多项式

二、“线性回归—梯度下降法求解目标函数”学习笔记

     1、线性回归的目标函数

    2、对于 J(a,b) 而言，有两个参数 a 和b，函数 J 分别对自变量 a 和 b ，就是求上述的最小值

    3、这里不理解的地方是，下图红圈的字母物理含义是什么？

    4、通用线性回归模型的目标函数求解

         线性回归的超参数：对于线性回归而言，只要用到梯度下降，就会有步长参数 alpha 这个超参数，如果训练结果偏差较大，可以尝试调小步长；如果模型质量不错但是训练效率太低，可以适当放大步长；也可以尝试使用动态步长，开始步长较大，随着梯度的缩小，步长同样缩小。

         提问：老师，以上概念比较模糊，能否形象的对梯度下降法进行画图实例，先不用公式推导。