Multivariate Linear Regression

1、多特征变量及其相关概念

Paste_Image.png

2、多变量线性回归，其中表达式可转化为向量相乘，注意令x0 = 1

Paste_Image.png

3、

Paste_Image.png

4、单变量线性回归中梯度下降法中的求导
（求导过程中把theta 0 、theta 1当作相应变量）

Paste_Image.png
单变量线性回归和多变量线性回归的梯度下降发参数更新对比
Paste_Image.png
5、特征值之间的scale相差较大时，J(theta)容易出现细高的椭圆形形状，不利于收敛 Paste_Image.png

6、对各个特征值进行标准化，每个特征值减去相应项的平均值再除以max - min

Paste_Image.png

7、为什么是

Paste_Image.png
而不是
Paste_Image.png
Paste_Image.png

明白了！
纵坐标其实应该是

Paste_Image.png 但是如果梯度下降正确运行，按道理来说每次迭代 J(theta)都会下降，也就是最后一次迭代后得到的J值是现在为止得到的 J 值中最小的。如下两张图中字幕所说：
Paste_Image.png Paste_Image.png

8、迭代次数在四百处曲线梯度趋于平缓，梯度下降收敛

Paste_Image.png

9、梯度下降算法没有正确运行的话，the plot 如下左边两张：

Paste_Image.png

解决方法如下：

Paste_Image.png

即调试得到一个值较小的a值
A中的斜率较B中的J值变化率要大

Paste_Image.png

10、X1 、X2...是特征值

Paste_Image.png

11、octave 语法：最下面的红字部分是相等的

Paste_Image.png

12、红框中是normal equation(正规方程方法)，使用正规方程时是没必要对特征值进行归一化的

Paste_Image.png
13、梯度下降法和正规方程优缺点对比 Paste_Image.png