随机梯度下降（Stochastic gradient desce

以线性回归为例：
我们之前的批量梯度下降，当数据量很大的时候，需要频繁读取数据并计算微分，开销很大，占用内存大。

随机梯度下降和批量梯度下降对比：

随机下降法：
1、将所有数据打乱；
2、分成m小份，每一次训练一份，相当于更新一次参数；然后遍历所有的样本就完成了训练。

最后，随机下降将会得到一个接近全局最小值，对于实际应用来说已经足够了 。