前言

在使用数据挖掘（DM）或机器学习（ML）算法建模时，有时候需要对特征进行归一化（Scaling）或独热编码（One-Hot Encoding）。

以前建模的时候，并没有意识到这一点，好在使用WoE编码和tree-based模型救回一命，所以并没有酿成大错。

这篇文章依据Quora上关于「What are good ways to handle discrete and continuous inputs together?」这个问题的回答，谈谈归一化和独热编码，包括：

• 什么是归一化，为什么要做特征归一化
• 什么是独热编码，为什么要做独热编码
• 归一化和独热编码的适用算法

特征归一化（Scaling）

归一化针对的是连续型特征。具体指将不同量级的特征转化为相同量级的特征，以避免数值不同级给模型带来的影响。

比如，「年龄」的数值基本上在1到100之间，而「月薪」的数值通常情况下至少按千算（人民币），假设现在有这么一个模型 Y = b0 + b1年龄 + b2月薪，如果将这两个变量转化为相同量级的数值，那么「月薪」对Y的影响就会比「年龄」大很多，这种情况下建立的模型是有偏的（biased）。

最常见的归一化方法有：

1. 将变量的数值线性缩放到 [-1, 1] 或 [0, 1]。前者可以通过(x - min) / (max - min)实现，后者可以通过(x - mean) / (max - min)实现。
2. z-score标准化。通过(x - μ) / σ实现。

其他归一化方法可参考这篇blog。

特征归一化的作用，更多解释可参考知乎「处理数据时不进行归一化会有什么影响？归一化的作用是什么？什么时候需要归一化？有哪些归一化的方法？」这个问题下的回答。

注意，若本来各特征的量级是相同的，最好不要做归一化，以尽可能多地保留信息。

独热编码（One-Hot Encoding）

独热编码针对的是离散型特征。具体指的是将具有m个属性值的特征转化为m个二元（只包含-1和1，或0和1）特征。

比如，「性别」这个特征包含有两个属性值：男性和女性（1和2）。进行独热编码后，这一特征则被一分为二：男性 = {0, 1} （或男性 = {-1, 1} ）；女性 = {0, 1} （或女性 = {-1, 1} ）。

独热编码主要用于避免计算特征之间距离或相似度时产生bias（从而影响模型精度）。

需要注意，独热编码只适用于定类变量（Nominal variables），即属性与属性之间不能排序。比如「性别」中1表示男性、2表示女性，这种情况下数字1和数字2之间是平等的、并不存在大小关系，这种情况下使用独热编码是正确的。

还需要注意，独热编码和线性回归里的虚拟变量(Dummy variables)的区别，前者的结果是m个二元特征，后者是m-1个。（我现在还没弄明白为什么DM/ML中用的是m个而不是m-1个二元特征，希望知道的人可以指点指点。）

适用算法

最后，根据Quora的这个回答，并不是所有的算法都需要对特征做归一化和独热编码：

• 基于参数的模型需要做特征归一化的独热编码，如GLM、SVM、Neural Network。
• 基于距离的模型需要做特征归一化的独热编码，如KNN。
• 基于树的算法不需要做特征归一化和独热编码，如c4.5、Cart、Random Forrest、Bagging或Boosting。（看Kaggle案例的时候发现有人用XGBoost的时候做了独热编码，所以这一块不太确定到底要不要做独热编码……）

以上。