机器学习笔记（六）—— 梯度下降

作者: ____X | 来源:发表于2020-03-28 19:33 被阅读0次

梯度下降

批量梯度下降（Batch Gradient Descent，BGD）

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。

从数学上理解如下：从数学上理解如下：

对目标函数求偏导：
$\frac{\Delta J\left ( \theta _{0},\theta _{1} \right )}{\Delta\theta _{j}} = \frac{1}{m}\sum_{i=1}^{m}\left ( h_{\theta }\left ( x^{(i)} \right )- y^{(i)}\right )x{_{j}^{(i)}}$

其中 $i=1,2,...,m$ 表示样本数， $j=0,1$ 表示特征数，这里我们使用了偏置项 $x{_{0}^{(i)}}=1$ 。

每次迭代对参数进行更新：
$\theta _{j}:=\theta _{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}\left ( h_{\theta }\left ( x^{(i)} \right )- y^{(i)}\right )x{_{j}^{(i)}}$
注意这里更新时存在一个求和函数，即为对所有样本进行计算处理，可与下文SGD法进行比较。

优点：

一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：

当样本数目m很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

代码：

1   while(count<loop):
2       count++
3       for i in m:
4           diff = (np.dot(theta,in_data[i])-target_data[i])*in_data[i]
5       #遍历完所有样本，才更新权重参数
6       theta = theta-alpha*diff

随机梯度下降（Stochastic Gradient Descent，SGD）

随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。
对于一个样本的目标函数为：
$J^{(i)}\left ( \theta _{0},\theta _{1} \right )=\frac{1}{2}\left ( h_{\theta } (x^{(i)})-y^{(i)}\right )^{2}$
对目标函数求导：
$\frac{\Delta J^{(i)}\left ( \theta _{0},\theta _{1} \right )}{\Delta\theta _{j}} = \left ( h_{\theta }\left ( x^{(i)} \right )- y^{(i)}\right )x{_{j}^{(i)}}$
参数更新：
$\theta _{j}:=\theta _{j}-\alpha \left ( h_{\theta }\left ( x^{(i)} \right )- y^{(i)}\right )x{_{j}^{(i)}}$

优点：

由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。

缺点:

准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
不易于并行实现。

解释一下为什么SGD收敛速度比BGD要更快：

这里我们假设又30W个样本，对于BGD而言，每次迭代需要计算30W个样本才能对参数进行一次更新，需要求得最小值可能需要多次迭代（假设这里是10次）；而对于SGD，每次更新参数只需要一个样本，因此若使用这30W个样本进行参数更新，则参数会被更新（迭代）30W次。而这期间，SGD就能保证收敛到一个合适的最小值上。也就是说，在收敛时，BGD计算了10×30W次，而SGD只计算了1×30W次。

代码：

1   while(count<loop):
2       count++
3       for i in m:
4           diff = (np.dot(theta,in_data[i])-target_data[i])*in_data[i]
5           theta = theta-alpha*diff

小批量梯度下降（Mini-Batch Gradient Descent, MBGD）

小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代使用 batch_size个样本来对参数进行更新。
这里先假设 $batch_{size}=10$ ，样本数 $m=100$ 0。

优点：

通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
每次使用一个 $batch$ 可以大大减少收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。（比如上述所说的30W，设置 $batch_{size}=10$ 时，需要迭代3000次，远小于SGD的30W次）
可实现并行化。

缺点：

$batch_{size}$ 的选择不当会带来一些问题

$batch_{size}$ 选择带来的影响：

在合理选择范围内，增大的好处：
- 内存利用率提高了，大矩阵乘法的并行化效率提高。
- 跑完一次epoch（全数据集）所需的迭代次数减少，对于相同数量的处理速度进一步加快。
- 在一定范围内，一般来说 $batch_{size}$ 越大，其确定给的下降方向越准，引起训练震荡越小。
盲目增大的坏处：
- 内存利用率提高了，但内存容量可能撑不住
- 跑完一次epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢
- $batch_{size}$ 增大到一定程度，其确定的方向已经基本不再变

代码：

1   while(count<loop):
2       count++
3       for i in range(1,m,batch_size):
4           for k in range(i-1,i+batch_size-1):
5               diff = (np.dot(theta,in_data[k])-target_data[k])*in_data[k]
6           theta = theta-alpha*diff

样本较小时选择BGD；样本很大时选择SGD；一般情况选择MBGD。
收集于：
https://www.cnblogs.com/lliuye/p/9451903.html

机器学习笔记（六）—— 梯度下降

梯度下降

批量梯度下降（Batch Gradient Descent，BGD）

随机梯度下降（Stochastic Gradient Descent，SGD）

小批量梯度下降（Mini-Batch Gradient Descent, MBGD）

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读