《Python数据分析与挖掘实战》第三章 数据探索

样本数据集的数量和质量是否满足模型构建要求？
是否出现没设想过得数据状态？
其中是否有明显的规律和趋势？
各因素中有什么样的关联性？

数据探索：对样本数据集的结果和规律进行分析

数据质量分析

主要任务：检查原始数据中是否存在脏数据
脏数据包括：缺失值、异常值、不一致的值、重复值

缺失值分析

缺失包括：记录缺失、某个字段缺失

缺失产生原因

1. 有些信息无法获取
2. 有些信息被遗漏
3. 属性值不存在

缺失值的影响

1. 丢失有用信息
2. 不确定性更加显著，蕴含规律更难把握
3. 空值会使建模过程陷入混乱，导致不可靠的输出

缺失值分析

统计分析，得到含有缺失值的属性个数、缺失数、缺失率......

异常值分析

检验数据是否不合理
异常值也称离群点

1. 简单的统计量分析
   先对变量做描述性统计（例如最大值最小值）
2. 原则
   如果数据服从正态分布，异常值被定义为一组测定之中与平均值偏差超过3倍标准差的值。这些值的出现概率<=0.003。
   如果数据不服从正态分布，则用远离平均值的多少倍标准差来描述

3. 箱型图分析

   
   箱型图分析.png

一致性分析

数据特性分析

分布分析

对于定量数据，可观察其频率分布；
对于定性数据，了绘制饼图、条形图直观的现实分布情况。

定量数据的分布分析

1. 求极差
2. 决定组距与组数
3. 决定分店
4. 列出频率分布表
5. 绘制评率分布直方图

选择组数和组宽的原则：

1. 各组相互排斥
2. 包含所有数据
3. 组宽最好相等

定性数据的分布分析

对比分析

把两个相互联系的指标进行比较
形式：

1. 绝对数比较
   利用绝对数进行对比，从而寻找差异；
2. 相对数比较
   由两个有联系的指标对比计算，反应客观现象之间数量的联系程度的综合指标，其数值表现为相对数。
   相对数可以分为以下几种：
   • 结构相对数：部分数值 / 全部数值
   • 比例相对数： 不同数值进行对比
   • 比较相对数：同一时期两个性质相同的指标数值进行对比，表面总体内各部分的比例关系
   • 强度相对数：将两个性质不同但是有一定联系的总量指标进行对比，说明现象的强度、密度和普遍程度。例如“元/人”
   • 计划完成程度相对数： 完成数 / 计划数
   • 动态相对数：同一现象在不同时期的指标数值进行对比，例如增长速度。

统计量分析

用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面分析。

集中趋势度量

1. 均值
2. 中位数
3. 众数

离中趋势度量

1. 极差
2. 标准差
3. 变异系数
   度量标准差相对于均值的离中趋势

4. 四分位数间距

周期性分析

贡献度分析（帕累托分析）

相关性分析

1. 绘制散点图
2. 绘制散点矩阵
3. 计算相关系数
   • Pearson相关系数：一般用于分析两个现需性变量之间的关系，要求连续变量的取值服从正态分布。
   • Speraman秩相关系数：数据不必服从正态分布，只要两个变量有严格单调的函数关系，则相关。
     注：上述两种相关系数都要对其进行假设检验，使用t检验方法检验其显著性水平以确定其相关程度。
   • 判定系数：相关系数的平方，用了衡量回归方程对y的劫持程度。

---

——>第四章