吴恩达的机器学习课程笔记章节二（2）

课时5 梯度下降
作用，可以用于最小化线性回归的代价函数J。

梯度下降算法

如上图梯度下降可以试用于更普遍的情况，比如说，多个参数的函数，为了简化，我们先仅仅考虑两个参数的情况。

梯度下降3d模型
如上图，梯度下降可以用上面的3d图形来表示。
梯度下降算法的同步更新法
如上图，是梯度算法的方程式，具体的将在下节描述，这节只需记住它是同步更新的。同步更新即θ0,θ1同时更新。同步更新是实现梯度下降的更自然的方法，当人们讨论梯度下降其实都是讨论的同步更新。非同步更新并不是人们讨论的梯度下降的算法，但它可能用于其他算法。

注：
a := a+1;
:=赋值符号
=判断是否相等符号。

同步更新和非同步更新的对比
课时6 梯度下降算法
吴恩达的机器学习课程笔记章节二（2）
可以假设仅仅有一个参数θ1，运用上节我们讨论的梯度下降算法，如上图，不断接近最低点。α为一个正数，后面的公式其实是一个微积分的偏导数。（它的值其实是图中的直线的斜率）这样，我们就可以得出结论，这个式子是满足θ1的值向中间最小处聚合得到的结果的。
α过大或者过小产生的影响
如上图，过小：小步快走，太慢；过大：可能会错过最小值。
梯度下降算法的自动收敛
如上图所示，其实在梯度下降算法中，越接近最小值，梯度下降算法越可以用小的步数，它是一个自动的过程。
课时7 线性回归算法
之前我们讲了线性回归模型，平方误差代价函数，梯度下降算法。
线性回归的梯度下降

如上图所示，本节的重点是线性回归的梯度下降，即把梯度下降算法和平方代价函数结合，应用到线性回归模型中。关键点是要得到上图的红框圈出的部分。

关于θ0,θ1的求解函数的化简
经过化简和积分运算，我们可以得到上图关于θ0,θ1的求解函数。
关于θ0,θ1的求解函数
吴恩达的机器学习课程笔记章节二（2）
如上图所示，不断改变θ0,θ1的值，我们就可以得到不断变换的预测函数中，得到最佳的预测函数值。
梯度下降又叫Batch梯度下降算法。（全览整个训练集）
接下来将介绍正规方程组方法，求解代价函数的最小值。