数据探索

数据探索是拿到数据要做的第一步，目的是对要分析的数据有个大概的了解。弄清数集质量，大小，特征和样本数量，数据类型，数据的概率分布等。数据探索主要包括：

• 数据质量探索
• 数据特征分析

一. 数据质量探索

数据质量探索顾名思义，就是了解数据的大体质量，常见的数据问题比如缺失，异常值与数据不一致。接下来我们就一一介绍，这里先说明，我们主要使用一个类似于下图格式的样本数据。

1. 缺失值分析

pandas判断缺失值一般采用 isnull()函数，生成所有数据的true／false矩阵。如图1，对于庞大的数据，很难一眼看出来哪个数据缺失，一共有多少个缺失数据，缺失数据的位置。但是，我们可以巧用isnull()返回的DataFrame来提炼结果。
print(data.isnull().head(10)) #这里我们只打印返回矩阵的前十行

图1

• 利用any()函数：DataFrame/Series的any()函数，用来判断一行或者一列的真假情况，一行/列中有一个真就返回真。这样就可以简化结果了。

print (data.isnull().any())

Out:
OSSMOCODE    False
HI            True
T_CON         True
U_CON         True

• 利用索引方法的布尔表达式：索引出存在空值的行

print(data[data.isnull().values==True])
Out:
       OSSMOCODE         HI     T_CON     U_CON
0             36        NaN  0.555681  0.444319
13         50136  22.700191  0.575151       NaN
15         50136  10.544943       NaN  0.592328
20         50137        NaN  0.557382  0.442618
1936       52859        NaN       NaN       NaN
1936       52859        NaN       NaN       NaN
1936       52859        NaN       NaN       NaN
1937       52859        NaN       NaN       NaN
1937       52859        NaN       NaN       NaN

• 利用数据结构的describe()函数，该函数返回的count值表示非空的行数。

print(data.describe())
Out:

                  HI          T_CON          U_CON
count  213016.000000  213017.000000  213017.000000
mean       24.352850       0.570636       0.429364
std         7.738505       0.069897       0.069898
min        -3.588333       0.047572       0.248444
25%        19.608577       0.549705       0.384575
50%        24.512418       0.590813       0.409187
75%        29.392862       0.615425       0.450296
max        95.034427       0.751556       0.952428

2. 异常值分析

异常值指的就是不合常理的数据，比如年龄200岁，人奔跑速度2km/s等等。我们不能忽略异常值，这会使得挖掘结果出现偏差。对于异常值的探索我们有2种方案：

• 直接用布尔表达式筛选：比如年龄超过200岁print(data[data['age']>200])
• 绘制箱图（boxplot）:并不通用，还要具体情况具体分析
  箱图
  Q1表示下四分位数，Q3表示上四分位数，IQR是Q3-Q1，异常值被定义为小于Q1－1.5IQR（下边缘）或大于Q3+1.5IQR（上边缘）的值。虽然这种标准有点任意性，但它来源于经验判断，经验表明它在处理需要特别注意的数据方面表现不错。
  pandas中绘制boxplot的方法：（基于matplotlib）
  DataFrame.boxplot(column=None, by=None, ax=None, fontsize=None, rot=0, grid=True, figsize=None, layout=None, return_type=None, **kwds)
• column: 要绘制的列label的列表
• by: 分组关键字列表，函数将按照列表中的label先分组，再绘图
• layout: 子图的布局方式，layout=(行，列)，仅在by不为none的时候有效。

二. 数据特征分析

1. 分布情况

有必要了解数据的整体分布情况，观察数据分布的对称性等规律。可以绘制频率分布直方图hist，条形图，饼图pie。

2. 对比分析

了解相互联系的指标的变化情况对比，考虑使用折线图plot。

3. 统计量分析

1. 集中趋势分析：平均数data.mean()，中位数data.median()，众数。
2. 离散程度分析：极差，标准差data.std()，变异系数。
   变异系数=（标准差 / 平均数）×100%，用来比较不同单位的数据的离散程度，而标准差一般用于比较相同单位。

4. 相关性分析

一般来说可以通过绘制散点图，来分析2个变量间的相关性。
相关系数：

• 皮尔森相关系数：适用于正态分布，只有2个变量是线性关系时才会完全相关。
  相关系数 -1 ≤ r ≤ 1，r的绝对值越趋近于1，相关性越高。
  0.8-1.0 极强相关
  0.6-0.8 强相关
  0.4-0.6 中等程度相关
  0.2-0.4 弱相关
  0.0-0.2 极弱相关或无相关
  代码：data.corr() #无参数默认是皮尔森相关
• 斯皮尔曼 秩相关系数 ：无需正态分布，只要2个变量存在严格单调关系就可以检测相关性。
  代码：data.corr('spearman')