梯度下降法和线性回归模型的代价函数

用梯度下降函数最小化平方误差代价函数

Paste_Image.png

图中的偏导数是代价函数的斜率

Paste_Image.png

注意：theta 0 和theta 1 是梯度下降函数的横轴和纵轴，两者是同时更新的，更新主要看他们各自的偏导数，即代价函数的斜率。

Paste_Image.png Paste_Image.png Paste_Image.png
Paste_Image.png
Paste_Image.png Paste_Image.png

错误？？

Paste_Image.png Paste_Image.png

用在线性回归中的矩阵和向量相乘

Paste_Image.png

左侧矩阵是测试集和常数系数，右侧矩阵的每一列是theta 0 和theta 1

Paste_Image.png
矩阵满足结合律（associative）但是不满足交换律(commutive)，即不满足AxB = BxA,有一种情况除外，即B是特征函数 I（identity matrix） Paste_Image.png Paste_Image.png

求逆矩阵公式，有如下定理：
如果A是一个 n x n的 矩阵，那么一定有一个逆矩阵，使得AA-1= I

Paste_Image.png

不存在逆矩阵的矩阵叫做奇异矩阵（singular）或者退化矩阵（degenerate）,零矩阵就是奇异矩阵或者退化矩阵

转置矩阵：

Paste_Image.png

终于理解了：其实就是应该全部的h(x) = y
因为J是指全部差平方之和
而且线性回归是没有局部最优的问题的，因为它相当于一个凸函数，故此题应选择第三个（给我的提示是coursera中的即使是多选题也可能选一个，另外要准确理解some的含义，全部的数目也可能叫some）

Paste_Image.png