Cost Function

引入了逻辑回归模型的代价函数，分为y = 0 或者1 两种情况。

这里再次指明了代价函数的概念，当Cost函数的值为0，说明判断的误差为0，分析得出的结果完全正确，预测是0，实际也是0.如果Cost函数的值求出是正无穷，说明误差无穷大，预测是1，实际是0

Simplified Cost Function and Gradient Descent

由于y只能取两个值，所以可以把这两个式子合并成一个式子，并且关键是合并了以后代价函数就变成了一个凸函数，此时，我们就可以继续使用梯度下降算法来求得代价函数的最优解了。

并且我们注意到，这个逻辑回归的梯度下降函数是和线性回归里的那个完全一样的，我们仍然可以使用之前的方法来更新theta。
一个向量化的实现如下：

更加高级的优化方法（Advanced Optimization）

事实上，我们只要求出代价函数J（θ）和其偏导数就可以选择其他求最优解的不同方法。

**共轭梯度法(conjugate gradient)、 变尺度法(BFGS) 和 限制变尺度法(L-BFGS) ** 就是其中一些更高级的优化算法，但是这些算法比较复杂，不仔细讲解，只是列举了它们的一些特性。
优点：

• 不需要手动选择学习率α
• 通常比梯度下降算法收敛的速度要更快

缺点：

• 显而易见，实现起来比较复杂（不过你不是数值专家或者科学家最好不要用这三个算法,）

本节主要内容其实只是需要会写一个同时返回代价函数值和梯度函数值的这样一个代价函数即可。