综述：

---

数据质量：

准确性，完整性，一致性，时效性，可信性，可解释性
数据质量的评估要基于数据应用的目的，没有一味的好数据。

数据预处理的主要任务有：

1. 数据清理(data clean)
2. 数据集成 (data integration)
3. 数据规约（data reduction） 包括：数值规约(numerosity reduction)，维规约(dimensionality reduction)
4. 数据转换(data transformation)

---

数据清理：

---

缺失值：

1. 无视元组
2. 人工填写缺失值
3. 使用一个全局常量填充
4. 使用属性的中心度量（平均值，中位数）填充
5. 使用最有可能的值填充：回归，决策树，贝叶斯概率

噪声数据：

1. 分箱（箱均值，中位，边界值光滑）

   
   分箱方法.png
2. 回归
3. 离群点分析（聚类）

---

数据集成：

---

将来自不同数据源的数据整合统一存储

1. 实体识别问题：
2. 冗余和相关分析：1.标称数据的卡方检验 2.数值数据的相关系数 3.数值数据的协方差
3. 元组重复
4. 数据值冲突的检测与处理

---

数据规约：

---

数值规约策略概述：

1.维规约（小波变换，PCA主成分分析） 2.数量规约 3.数据压缩

小波变换（DWT）：

应用：1. 图像压缩 2. 计算机视觉 3. 时间序列数据分析 4. 数据清理

PCA主成分分析：

步骤：

1. 先标准化（normalized）
2. 计算k个标准正交向量
3. 标准正交向量按照重要性程度排序
4. 根据重要性程度，选择个数

适用：
有序，无序数据，稀疏，倾斜（不平衡）

属性子集选择：

1. 逐步向前选择，
2. 逐步向后删除，
3. 逐步向前选择和逐步向后删除的组合
4. 决策树归纳

回归与线性对数模型：(参数化数据归纳)

直方图：

1.等频直方图 2.等宽直方图

直方图.png

优点：
1.稀疏和稠密数据，高倾斜和均匀数据均可以处理
2.可以表现属性间的依赖
3.有高频离群点的话，可以考虑用单值桶
4.能对5维一下数据进行数量

聚类：

基于距离，体现了属性见的相关性

采样：

1.无放回简单随机抽样
2.有放回简单随机抽样
3.簇抽样：先分类后抽样
4.分层抽样：适用于数据倾斜的情况（正负样本不平衡）

数据立方体聚集：

---

数据转化技术：

数据转化技术综述：

1.平滑：1.分箱 2.回归 3.聚类
2.特征提取（Attribute construction / feature construction）
3.聚集
4.归一/标准化
5.离散化
6.由标称数据产生分层概念

通过规范化变化数据

最大-最小规范化：

优：保持了数据值之间的联系
缺：数据越界怎么办

z-score规范化：

优：
1.适用于最大最小值不明确的情况或者离群点左右了最大最小值的情况下（不用考虑离群点了）

小数定标规范化：

顾名思义，改变位数规范化

离散化：

分箱离散化

对指定箱的数量敏感，受离群点干扰比较大

直方图离散化

聚类，决策树，相关分析离散化

聚类是普遍的离散化方法

标称数据概念分层

可以基于模式定义以及每个属性的不同值个数产生

---