预处理

数据预处理的常用流程

• 去除唯一属性
• 处理缺失值
• 属性编码
• 数据标准化
• 特征选择
• 主成分分析

缺失值处理的三种方法

1. 直接使用含有缺失值的特征

对于某些算法可以直接使用含有缺失值的特征比如决策树

2.删除含有缺失值的特征

3.缺失值的补全

补全方法：

• 均值插补

样本属性可以度量使用平均值进行插补，样本属性不可度量使用有效值的众数进行插补

• 用同类均值插补

首先将样本分类，然后以该类中样本的均值进行插补

• 建模预测
• 高维映射

将属性映射到高维空间

• 多重插补

步骤：

1. 通过变量之间的关系对缺失值进行预测，利用蒙特卡洛方法生成多个完整的数据集
2. 在每个完整的数据集上面进行训练，得到训练后的模型及评价函数值
3. 对来自各个完整的数据集的结果，根据评价函数进行选择，选择评价函数最大的模型其对应值就是最后插补值

• 极大似然估计
• 压缩感知以及矩阵补全

利用信号本身所具有的稀疏性，从部分信号中恢复原信号，氛围感知观测和重构恢复两个阶段

特征编码

特征二元化

将数值型属性转换为布尔值的属性

独热编码

采用N位状态寄存器对N个可能的取值进行编码

能够处理非数值型属性，在一定程度上扩充了特征，编码之后属性是稀疏的存在大量零元分量

特征选择

特征选择的方法大致分为三类

• 过滤式
• 包裹式
• 嵌入式