数据预处理：

参考 朱/欧等，《数据科学导引》

朱占星课程ppt

离散特征编码：

One Hot编码：在数据是离散的分类的时候采用。避免用0，1，2，3...这样的编码方式给各个分类引入次序。

但是One Hot的缺点是：1，引入了太高的维度。

                                       2，特征之间引入了线性相关性：f1+...+fn=1

解决2的办法是引入哑变量。

=====

数据标准化：

量纲会造成影响,所以要标准化。

有时候需要输入特征为标准化形式，线性模型里面的l1 l2正则项等等，需要特征均值在0附近而且方差齐次。

Z-score：

 适用于最大最小值位置，分布很离散的情况。

min-max：

 可以弄到小区间里。缺点是：不是online，如果有离群点，会比较差

小数定标标准化：

直接除以10多少次，然后缩小到[-1,1]区间里。一个问题是有可能原先的特征的大小很集中在一个量级，比如1000-2000，那么除以10000的话就容易集中在一个位置。而且也不是online。

Logistic标准化：

用逻辑斯蒂函数。缺点是：如果特征是绝对值比较大的，那么会分布在0和1附近。对于那些绝对值小而且分布在0周围的有用。

=====

数据离散化：

增加鲁棒性，减少离群点的影响。使得模型的可解释性更强（数据区间有明确的含义）。特征取值大大减少，减少存储和实际运算量。

离散化的目标：在尽可能减少损失的前提下，去减少离散化的元数。

无监督离散化：

等距离散化（每个段的长度基本一致。缺点：离群点影响大）

等频离散化（每个段的样本数量基本一致。一定程度解决了离群点的问题，但是很接近的两个样本很有可能分到两个不同的区间里）

聚类离散化（直接对特征做聚类，然后把聚类簇做进一步的分解或者是合并）

有监督离散化：

信息增益离散化（利用决策树中的信息增益方法离散化。是自顶向下的）

卡方离散化（自底向上。算卡方统计量。算法开销大）

=====

处理缺失值：

直接删掉

均值填补法（连续用平均，离散用众数）（缺点是特征之间是有相关性的，直接均值填补的话会忽略掉相关性）（一个例子，也是处理上个括号的方法是：如果有两个特征，一个是入学年份，另一个是年龄。年龄有缺失。这两个特征是明显相关的。可以按照入学年份分成小组，然后均值）

最近邻填补（用其他的特征来判断，选择其他特征最近的一个做填补。）（怎么定义“距离”是个问题）

=====

检测离群点：

统计方法：分位点，箱图

k近邻方法：算出每个点的k近邻距离，然后按照从小到大排列，选定一个阈值，大于的设置为离群。

（一个问题是！只能检测到整体的离群，检测不到局部离群）

LOF算法：k近邻方法的升级版，可以检测局部离群：

表示x到第k个最近的样本的距离。定义距离：。如果x1不在x2所在的那个小类里面，这个值就会和x1和x2之间的距离比较接近。

定义 看倒数里面，如果这个值很大，说明那些跟x很近的点看来，x离他们并不近，x可能是个离群点。所以这个值（倒数）越小越离群。定义指标：

如果接近1.说明正常，如果小于1，也是正常，如果远大于1，说明x应该是离群的。

（缺点！样本量大维度大的时候，是很低效的）