第九章最常用的模型优化算法——梯度下降法

作者: merlinCry | 来源:发表于2019-03-06 22:04 被阅读0次

线性回归求解中梯度下降法与最小二乘法的比较
2019-11-01第二课二周优化算法
2019-03-17神经网络——optimizer
梯度下降法
机器学习学习笔记（六）梯度下降法
梯度下降训练线性回归（最优化2）
线性回归（机器学习4）
梯度下降法(gradient dectent)
局部搜索之梯度下降法
感知机模型(Perceptron)的收敛性解读 | 统计学习方法

梯度下降法

5a4e0890-2e8d-11e8-8ff0-5b0a81ffa130.png

1551880652602.jpg

超参

上面讲了梯度下降法，其中的
α
，又叫做步长，它决定了为了找到最小值点而尝试在目标函数上前进的步伐到底走多大。
步长是算法自己学习不出来的，它必须由外界指定。
这种算法不能学习，需要人为设定的参数，就叫做超参数

梯度下降的难点

可能会出现走到了一个局部极小值就无法前进的情况

883d5f30-2e8d-11e8-a3a4-1b4a4113bab5.jpeg

如果目标函数不能确定只有一个极小值，而获得的模型结果又不令人满意时，就该考虑是否是在学习的过程中，优化算法进入了局部而非全局最小值。

这种情况下，可以尝试几个不同的起始点。甚至尝试一下大步长，说不定反而能够跨出局部最小值点所在的凸域。

线性回归求解中梯度下降法与最小二乘法的比较
在线性回归算法求解中，常用的是最小二乘法与梯度下降法，其中梯度下降法是最小二乘法求解方法的优化，但这并不说明梯度下...
2019-11-01第二课二周优化算法
指数加权平均：动量梯度下降法： RMSprop：和动量梯度下降法相似 adam优化算法：将动量梯度下降法和RMS...
2019-03-17神经网络——optimizer
神经网络优化算法，通常有三种：小批量梯度下降法，随机梯度下降法和批量梯度下降法。小批量梯度下降法适用于训练数据...
梯度下降法
梯度下降法，又称“最速下降法”，是机器学习领域最常用的优化算法之一，适用于各种无约束的优化问题。下面我们简单叙述...
机器学习学习笔记（六）梯度下降法
基础（1）梯度下降法本身不是一个机器学习算法（2）梯度下降法是一种基于搜索的最优化方法（3）梯度下降法的作用...
梯度下降训练线性回归（最优化2）
实验目的梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一...
线性回归（机器学习4）
实验目的梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一...
梯度下降法(gradient dectent)
梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。要使用梯度下降法找...
局部搜索之梯度下降法
在各种最优化算法中，梯度下降法是最常见的一种，在深度学习的训练中被广为使用。梯度下降法的场景假设梯度下降法的基本...
感知机模型(Perceptron)的收敛性解读 | 统计学习方法
Python复现，使用了随机梯度下降法，梯度下降法，adagrad和对偶形式四种算法：舟晓南：感知机模型pyth...