深度学习优化算法（1）—— 优化算法的基础

作者: LaLa_2539 | 来源:发表于2018-10-25 17:20 被阅读0次

深度学习优化算法（1）—— 优化算法的基础
机器学习之优化算法学习总结
吴恩达深度学习复习: Optimization 最优化算法
深度学习最常用的学习算法：Adam优化算法
优化算法总结
神经网络BP算法及其Caffe实现
优化问题记录
关于凸优化的一些基本概率（2018京东算法岗）
深度学习矩阵乘法优化算法Strassen
优化方法总结

偏导、方向导数和梯度

（1）偏导：函数在坐标轴方向上的变化率（一维方向）
设函数 $z = f(x,y)$ 在点 $(x_0,y_0)$ 的邻域内有定义，当 $y = y_0$ 时， $z$ 可以看作是关于 $x$ 的一元函数 $f(x,y_0)$ ，若该一元函数在 $x = x_0$ 处可导，即有
$\lim_{\Delta x \rightarrow 0} \frac{f(x_0 + \Delta x , y_0) - f(x_0 , y_0)}{\Delta x} = A$
函数的极限 $A$ 存在，那么称 $A$ 为函数 $z = f(x , y)$ 在点 $(x_0 , y_0)$ 处关于自变量 $x$ 的偏导数
（2）方向导数：函数在某点沿某个特定方向的变化率
$\frac{\partial f}{\partial l} = \lim_{\rho \rightarrow 0} \frac{f( x + \Delta x , y + \Delta y) - f( x , y )}{\rho}$

图片.png
（3）梯度：函数在该点沿所有方向变化率最大的那个方向（最大的方向导数）

几种梯度下降方法

（1）梯度下降（BGD）：梯度下降使用整个训练数据集来计算梯度，因此有时被称为批量梯度下降（batch gradient descent）
（2）随机梯度下降（SBGD）：在每次迭代中只随机采样一个样本来计算梯度（Stochastic Gradient Descent）
（3）小批量随机梯度下降（MSGD）：在每次迭代中随机均匀采样多个样本来组成一个小批量，使用当前小批量来计算梯度

梯度下降和随机梯度下降

指数加权平均（几个优化算法的基础）

指数加权平均的关键等式

$v_t = \beta v_{t-1} + (1 - \beta)\theta_t$
$\text{number of average data}= \frac {1}{1 - \beta}$

image.png

$\beta = 0.9$ 对应图中红色的线（近十天的平均气温）， $\beta = 0.98$ 对应图中绿色的线（近50天的平均气温）， $\beta$ 的值越大，得到的曲线会更平滑（因为对更多天数的温度做了平均处理）

指数滑动平均的具体使用

$v_0 = 0$
$v_1 = \beta v_0 + (1 - \beta)\theta_1$
$v_2 = \beta v_1 + (1 - \beta)\theta_2$
$……$

image.png

偏差修正（更精确的计算平均值）

针对上一部分中的公式，滑动平均曲线的初始起点很低（ $v_1 = \beta v_0 + (1 - \beta)\theta_1$ ; $v_0 = 0$ 使得等式右边第一项为 $0$ ），因此在估计运算初期我们需要一种更好的方法去进行估计：
　　　　　　　　　　　　　　　　　用 $\frac{v_t}{1 - \beta t}$ 代替 $v_t$

image.png

深度学习优化算法（1）—— 优化算法的基础
偏导、方向导数和梯度（1）偏导：函数在坐标轴方向上的变化率（一维方向）设函数在点的邻域内有定义，当时，可以看作是...
机器学习之优化算法学习总结
优化算法演化历程机器学习和深度学习中使用到的优化算法的演化历程如下：SGD --> Momentum --> N...
吴恩达深度学习复习: Optimization 最优化算法
吴恩达深度学习复习: Optimization 最优化算法 Jog My Mind 最优化算法都有哪些？梯度下降...
深度学习最常用的学习算法：Adam优化算法
www.dlworld.cn 听说你了解深度学习最常用的学习算法：Adam优化算法？-深度学习世界深度学习常常需要...
优化算法总结
简介本文介绍一下机器学习和深度学习中常用的优化算法和优化器以及一些其他我知道的优化算法,部分算法我也没有搞懂,就...
神经网络BP算法及其Caffe实现
大名鼎鼎的BackPropagation算法，是如今神经网络/深度学习的基础优化算法。其实在1974年Paul W...
优化问题记录
优化问题可选解： optimizer优化算法总结 - CSDN博客深度学习最全优化方法总结比较（SGD，Adag...
关于凸优化的一些基本概率（2018京东算法岗）
凸优化是很多机器学习算法的基础，绝大部分的优化算法都是适用在凸函数上的。18年的京东算法岗考的基本都是凸优化的基本...
深度学习矩阵乘法优化算法Strassen
上一篇介绍了深度学习中卷积的优化算法，这一篇来介绍一下矩阵乘法的优化算法——Strassen算法。我一直觉得Str...
优化方法总结
优化算法框架神经网络模型中有多种优化算法，优化算法的作用用来优化更新参数。对于优化算法而言，主要的框架如下。参数...