为什么随机梯度要小批量

作者: 明月工作坊 | 来源:发表于2018-09-09 13:48 被阅读8次

ML-梯度下降代码-线性回归为例
11 回归算法 - BGD、SGD、MBGD梯度下降
2019-03-17神经网络——optimizer
为什么随机梯度要小批量
小批量梯度下降（Mini-Batch gradient desc
[动手学深度学习-PyTorch版]-7.3优化算法-小批量随机
带动量的梯度下降
2019-01-29 小批量梯度下降
小批量梯度下降算法
gluon.Trainer()

现在我们的数据可能包含海量特征，一个批量可能相当巨大，如果是超大批量，则单次迭代就可能要花费很长的时间计算。

包含随机抽象样本的大量数据集可能包含冗余数据。实际上，批量越大，出现冗余的可能性越高。一些冗余可能有助于消除杂乱的梯度，但更大批量的预测价值往往并不能提高。

如果我们可以通过更少的计算量得出正确的平均梯度，会怎么样？通过从我们的数据集中随机选择样本，我们可以通过小得多的数据集估算（尽管过程非常杂乱）出较大的平均值。 随机梯度下降法 (SGD) 将这种想法运用到极致，它每次迭代只使用一个样本（批量大小为 1）。如果进行足够的迭代，SGD 也可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。

小批量随机梯度下降法（小批量 SGD）是介于全批量迭代与 SGD 之间的折衷方案。小批量通常包含 10-1000 个随机选择的样本。小批量 SGD 可以减少 SGD 中的杂乱样本数量，但仍然比全批量更高效。

来自
Google速成课程