1.png
机器学习竞赛其实就是一场烹饪大赛，其中数据集是食材，数据预处理是对食材进行择洗，特征工程是搭配食材，建模是选择烹饪方式，当然你也可以做出多种大菜，最后来个鸡尾酒式的摆盘，也就是模型融合，最终食神奖牌非你莫属。
image
本文介绍第一步，也就是分析给出的数据集，自动生成.word格式的数据集报告。此文中的数据集的形式为数据类型，对于图片、文本、声音等形式的数据集并不适用。根据目标特征的属性不同，对数据进行不同的展示。目标特征为数值型的数据集以Kaggle House Prices数据集为例，目标特征为类别型的数据集以Kaggle Titanic数据集为例。
数据集报告分为下面五部分：
- 一、数据概览
利用pandas读取数据文件，获得DataFrame格式的数据df，利用df.info()得到数据集的概览，见下图：
image
二、缺失值分析
给出含有缺失值的字段和该字段的缺失率，其中按照缺失率从大到小排列。见下图：
image
三、每个特征的值的分布
下面针对特征的不同类型给出不同的展示。因为数据集中有些特征虽然是数值型，但是其实可以看作类别型，这些特征需要在程序中自定义设置。
- 类别型特征：柱状图
image
- 数值型特征：带有概率密度的直方图
image
- 四、特征与目标字段之间的关系
下面给出每一个特征与目标字段之间的关系，其中目标字段需要在程序中设置。根据特征和目标字段的不同类型，利用不同的图展示两者之间的关系。
-
目标字段：类别型
-
特征：类别型
目标字段和特征均为类别型，则输出带有分类标识的柱状图以及各个类别对应的不同的特征的数。见下图：
image
- 特征：数值型
目标字段为类别型，特征为数值型，输出带有分类标识的概率密度直方图。见下图：
image
-
目标字段：数值型
-
特征字段：类别型
目标字段为数值型，特征为类别型，输出带有分类标识的概率密度直方图。见下图：
image
- 特征字段：数值型
目标字段为数值型，特征为数值型，输出带有皮尔逊系数的散点图。见下图：
image
- 五、其他
image
image
关注公众号python范儿，回复关键词gs，获取自动生成数据报告的源程序。
image
image
网友评论