一、样本统计描述

1、数据基本情况

df.sample(5) # 随机抽取数据，查看数据内容，df,head(2)、df,tail(2)。

df.shape # 查看数据量大小。

df.info # 查看数据类型，字符型、数值型等，df.value、df.info()直接查看数据。

df['gender'].value_counts(dropna=False)

# 类别性变量查看分布，df['gender'].nunique()、df['gender'].unique()。

df.describe() # 数据型分布查看，include=['O']，类别型设置参数亦可。

2、数据质量分析

缺失率分析

df.isnull().any()

df.isnull().all()

var_null = (df.isnull().sum() / df.isnull().count()).sort-values(ascending=False) * 100

var_null[var_null > 80].index.values

# 缺失率分析，并可根据阈值筛选变量。

同一性分析

异常值分析

p = df[var].boxplot(return_type='dict', sym='o', whis=3, flierprops={'maker':'o', 'markerfacecolor':'red', 'color'：‘black’})

plt.savefig(folder + '{}-{}.png'.format(index, var))

# 主要通过箱型图观测，更复杂的异常值检测方法见孤立森林等算法。

其他常用方法

agg_grouops =pd.cut(df[''age], bins=[19, 40, 65, np.inf])

pd.crosstab(age_groups, df['sex'])

# crosstab示例，常用groupby、pivot_table。

二、变量可视化分析

主要使用matplotlib、seaborn两个库。

1、单变量分析

数值型变量

# 直方图

sns.set_style('white')

from scipy.stats import norm

# df['age'] = np.log(df['age'])

sns.distplot(df['age'], kde=True, hist=False, fit=norm)

# kdeplot（绘制累计分布）

# df['age'].plot(kind='hist')

# pandas通用作图函数，boxplot箱型图，scatter散点图，lie折线图，bar条形图，pie # 饼图。

# 箱型图

sns.boxplot(x='type', y='income', data=df) # x增加了分析的适用性。

类别性变量

# 条形图

plt.figure(figsize=(14, 8))

ax = sns.barplot(x='type', y='income', hue='gender', data=df)

# estimatoer可修改计算函数，默认平均值，修改为count时，等同于countplot()

# sns.countplot(x='type', hue='gender', data=df)

# capsize设置误差棒帽条的宽度，可对ax进行图片参数设置更改。

# ax.set(yscale='log')

# ax.figure.savefig('pic')

plt.title('barplot')

plt.legend(loc='best')

# 饼图

fig, axs = plt.subplots(1, 2, figsize=(14, 8))

sns.countplot(x='astro', hue='target', data=df, ax=axs[0])

axs[0] .set_title('astro')

df['target'].value_counts().plot(x=None, y=None, kind='pie', ax=axs[1], autopct='%1.2f%%') # 输出百分好的样式。

axs[0] .set_title('target')

plt.xticks(rotataion=90) # 未生效，原因易知。

2、多变量分析

数值型变量

# 联合分布

sns.jointplot('age', 'worktime', data=df, kind='reg', size=10)

sns.pairplot(df, vars=['age', 'debt', 'cs_cnt'], hue='target', diag_kind='kde', kind='reg', size=7) # vars中的变量，必须都是数值型。

类别性变量

# 类别型与数值型

sns.pointplot(x='hour', y='count', hue='season', join=True, data=df)

# 参考官方文档，此图的实际含义更加清楚。

g = sns.FacetGrid(df, col='target', row='sex')

# g.sharex=False

g,map(plt.scatter, 'age', 'worktime') # 分析起来非常方便。

热点图

三、常用技巧及子图绘制

1、常用参数及技巧

plt.style.use('ggplot') # r语言风格

plt.style.available

%config inlinebackend.figure_format = 'retina'

plt.grid(True, axis='y') # 增加网格

plt.text(3.1, 0.3, 'sin function') # 增加文字描述

plt.xlim([-10, 15]) # 制定x轴的取值范围

plt.axis([0, 6, 0, 20]) # 制定坐标轴范围，xmin，xmax，ymin，ymax

plt.xticks((0, 500, 1000), ('0', '0.5K', '1k')) # 替换坐标刻度值

# plt.xticks(np.arange(10), top10.name)

# plt.set_xticks(range(0, n, 20))

# plt.set_xticklabels(['%d' %val for val in range(0, n, 20)])

2、子图绘制

fig.subplots_adjust(wspace=0.5, hspace=0.3) # 调整子图横纵向距离。

fig.tight_layout() # 自动调整subplot间距离。

# 方法很多，这里只列出自己用的最顺手的。

fig = plt.figure()

ax1 = fig.add_subplot(131)