哲哲的ML笔记（六：多元梯度下降-特征缩放）

作者: 沿哲 | 来源:发表于2021-03-20 09:26 被阅读0次

哲哲的ML笔记（六：多元梯度下降-特征缩放）
哲哲的ML笔记（三：梯度下降）
哲哲的ML笔记（三十三：批量、随机梯度、小批量梯度下降）
梯度下降--特征变量缩放
多元线性回归
哲哲的ML笔记（二：模型）
哲哲的ML笔记（四：矩阵）
标准化/归一化
2020-08-19--梯度下降法01
用人话讲明白梯度下降Gradient Descent（以求解多元

为什么要特征缩放

多维特征问题的时候，我们要保证这些特征都具有相近的尺度
$x_1$ :房屋的尺寸
$x_2$ ：房屋的数量
$y$ :房屋价格
$J(\theta)=\dfrac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta( x^i)-y^i)^2$
尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代，来来回回才能收敛。

所有特征的尺度都尽量缩放到-1到1之间，代价函数会更⚪

最简单的方法是令：

x_n=\frac{x_n-\mu_n}{\sigma_n}

，其中

\mu_n

是平均值，

\sigma_n

是标准差

哲哲的ML笔记（六：多元梯度下降-特征缩放）
为什么要特征缩放多维特征问题的时候，我们要保证这些特征都具有相近的尺度:房屋的尺寸：房屋的数量:房屋价格尺寸的值...
哲哲的ML笔记（三：梯度下降）
1. 前提回顾已知：代价函数，希望找到对应的参数使得最小思路：令从任意值开始（一般设置为=0）；每次微小改变直到...
哲哲的ML笔记（三十三：批量、随机梯度、小批量梯度下降）
随机梯度下降如果我们一定需要一个大规模的训练集，我们可以尝试使用随机梯度下降法来代替批量梯度下降法。从下图中可...
梯度下降--特征变量缩放
文中截图均来自Andrew Ng 视频,文字总结部分全为原创。 1 使用特征缩放的目的： 1、面对多维特征问题的时...
多元线性回归
概述之前我们讲了最基本、最简单的一元线性回归算法，本章主要讲解多元线性回归,以及梯度下降、特征缩放和正规方程解等...
哲哲的ML笔记（二：模型）
1. 参数设定：训练实例数：输入变量/特征：预测的目标变量：一个训练样本：第 i 个训练样本：hypothesi...
哲哲的ML笔记（四：矩阵）
此处简略了很多内容，实际课程中讲得很细、很基础矩阵乘法性质 1.不满足交换律：满足结合律：转置、逆没有逆矩...
标准化/归一化
瘦长的椭圆，会导致趋向最值时梯度下降的震荡；所以需要缩放特征值，使得其取值范围相近。按经验，特征缩放到3倍或1/3...
2020-08-19--梯度下降法01
梯度下降法简介多元线性回归中的梯度下降法随机梯度下降法梯度下降法的调试 1.梯度下降法简介不是一个机器学...
用人话讲明白梯度下降Gradient Descent（以求解多元
文章目录1.梯度2.多元线性回归参数求解3.梯度下降4.梯度下降法求解多元线性回归梯度下降算法在机器学习中出现频...