【线性回归】梯度下降

梯度下降在整个机器学习中都很重要

〇、问题回顾

找到θ0、θ1，最小化代价函数J(θ0,θ1)

outline

• 初始化θ0，θ1
• 调整θ0、θ1，减小J直到J最小（如何调整呢？）

走下降最快的方向！也就是梯度方向

一、梯度下降法

算法描述

注意： 新的θ0、θ1是依据上一次的θ0、θ1同时更新的。

二、梯度下降的直观理解

• α太小，收敛速度可能很慢
• α太大，方法可能不收敛
• 即便收敛，也可能没有收敛到J最小值，而可能收敛到某个极小值
• 在收敛的过程中，梯度大小的绝对值会越来越小，所以没有必要逐渐调小α

三、线性回归中的梯度下降

线性回归中的梯度下降