美文网首页呆鸟的Python数据分析
数据分析之特征分析(一)

数据分析之特征分析(一)

作者: 羽恒 | 来源:发表于2020-01-08 18:17 被阅读0次

    1 数据质量分析

    数据质量分析的主要任务是检查原始数据中是否存在脏数据。

    脏数据包括如下内容:

    • 缺失值
      缺失值的处理分为删除存在缺失值的记录、对可能值进行插值处理和不处理
    • 异常值
      • 简单统计分析:描述性统计,获取最大最小值等
      • 3\sigma原则:如果数据服从正态分布,在3\sigma原则下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值,出现概率为P(| x - \mu |>3\sigma) \leq0.003
      • 箱型图分析:异常值被定义为小于QL - 1.5IQR或大于QU + 1.5IQR (QL:下四分位数QU:上四分位数)
    • 不一致的值
    • 重复数据及含有特殊符号(如#、¥、*)的数据`
    • 箱型图分析检测异常值
      import  pandas as pd 
      catering_sale =  "data/catering_sale.xls"
      data = pd.read_excel(catering_sale,index_col="日期")
      import  matplotlib.pyplot  as plt 
      plt.rcParams['font.sans-serif'] = ["SimHei"] # 正常显示中文标签
      plt.rcParams['axes.unicode_minus'] = False # 正常显示负号
      plt.figure()
      # 画箱型图,直接使用DataFrame方法
      p = data.boxplot(return_type='dict') 
      x = p['fliers'][0].get_xdata() # fliers 为异常值标签
      y = p['fliers'][0].get_ydata()
      # 排序(由小到大,升序)
      y.sort()
      for  i in range(len(x)):
          if i > 0:
              plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.05 - 0.8/(y[i] - y[i-1]),y[i]))
          else:
              plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.08,y[i]))
      plt.show()
      

    2分布分析

    分布分析:研究数据的分布特征和分布类型,通过定量数据、定性数据区分基本统计量

    • 定量数据:求极差、组距、组数、分点、列出频率分布表,通过绘制散点图、频率直方图等方式理解数据并为下一步深入探索数据提供依据
    • 定性数据:定性的数据常常使用变量来分组,通过绘制饼图、条形直方图等方式展示数据分布情况

    2.1 实例分析

    # 数据读取
    import  pandas as pd 
    import matplotlib.pyplot as  plt  
    catering_sale =  "data/catering_sale.xls"
    data = pd.read_excel(catering_sale,index_col="日期")
    data.head()
    # 求极差
    def d_range(df,*cols):
        krange = []
        for col in cols:
            crange = df[col].max() - df[col].min()
            krange.append(crange)
        return krange
    dr =  d_range(data,"销量")
    print("销量极差为 %f" % dr[0]) 
    # 频率分布
    data["销量"].hist(bins=5)
    plt.show()
    # 频率分布情况,划分区间
    gcut = pd.cut(data["销量"],6,right = False)
    gcut_count = gcut.value_counts(sort = False)
    data["销量分组区间"] = gcut.values
    data.head()
    # 区间出现频率
    r_zj =  pd.DataFrame(gcut_count)
    r_zj.rename(columns={gcut_count.name:'频数'},inplace=True)
    r_zj['频率'] = r_zj['频数']/r_zj["频数"].sum()
    r_zj["累计频率"] = r_zj['频率'].cumsum()
    r_zj['频率%'] =  r_zj['频率'].apply(lambda x:"%.2f" % (x*100))
    r_zj['累计频率%'] =  r_zj['累计频率'].apply(lambda x:"%.2f" % (x*100))
    r_zj.style.bar(subset=['频率','累计频率'])
    # 直方图
    r_zj["频率"].plot(kind = "bar",
    figsize =(9,5),
    grid = True,
    color = 'k',
    alpha = 0.6,
    )
    plt.xticks(rotation = 60)
    # 增加标签
    for i,j,k in zip(range(len(r_zj)),r_zj["频率"],r_zj["频数"]):
        plt.text(i-0.1,j+0.1,'%i' % k, color = 'k')
    

    相关文章

      网友评论

        本文标题:数据分析之特征分析(一)

        本文链接:https://www.haomeiwen.com/subject/nemsactx.html