数据的标准化（normalization）和归一化
在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。
归一化的目标
- 把数变为（0，1）之间的小数
- 把有量纲表达式变为无量纲表达式
归一化后有两个好处
- 提升模型的收敛速度
- 提升模型的精度
- 防止模型梯度爆炸
收敛方向和速度
提升模型的精度
- 计算距离，不会受到一大一小数据差异的影响
- 多指标评价体系中相对削弱数值水平较低指标的作用
从经验上说，归一化是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。
数据需要归一化的机器学习算法
需要归一化的模型
在各个维度进行不均匀伸缩后，最优解与原来不等价.
除非本来各维数据的分布范围就比较接近，否则必须进行标准化，以免模型参数被分布范围较大或较小的数据dominate。
有些模型在各个维度进行不均匀伸缩后，最优解与原来等价，例如logistic regression.对于这样的模型，是否标准化理论上不会改变最优解。但是，由于实际求解往往使用迭代算法，如果目标函数的形状太“扁”，迭代算法可能收敛得很慢甚至不收敛（模型结果不精确）。
有些模型/优化方法的效果会强烈地依赖于特征是否归一化，如LogisticReg，SVM，NeuralNetwork，SGD等。
不需要归一化的模型
0/1取值的特征通常不需要归一化，归一化会破坏它的稀疏性。
有些模型则不受归一化影响，如DecisionTree。
ICA好像不需要归一化（因为独立成分如果归一化了就不独立了？）。
基于平方损失的最小二乘法OLS不需要归一化。
利用z-score进行标准化的话必须要求原始数据近似正太分布
网友评论