2018-12-06梯度下降运算中的实用技巧

特征缩放(feature scaling) 

如果你有一个机器学习问题，这个问题有多个特征，尽量确保这些特征都处在一个相近的范围，我的意思是确保不同特征的取值在相近的范围内。这样梯度下降法就能更快地收敛。即：可以通过使每个输入值在大致相同的范围内来加速梯度下降。

特征缩放

上图暂时不考虑，暂时设置为0。左半部分中，这个代价函数来运行梯度下降的话，得到梯度值最终可能需要花很长一段时间，并且可能会来回波动，然后会经过很长时间最终才收敛到全局最小值。右半部分中，经过特征缩放（"消耗掉"值的范围），轮廓图的形状变得偏移没那么严重，就会找到一条更捷径的路径通向全局最小。右边得到的梯度下降算法会更快地收敛。

特征缩放1

一般地，执行特征缩放时，我们通常的目的是将特征的取值约束到-1 到 +1 的范围内。你的特征是总是等于1， 这已经是在这个范围内。-1 和 +1 这两个数字并不是太重要。不用过于担心特征是否在完全相同的范围或区间内， 但是只要他们都足够接近的话 梯度下降法就会正常地工作。

均值归一化

均值归一化

特征减去平均值，除以范围或者标准偏差替换原特征。但是范围和标准偏差会带来不同的结果。