美文网首页我爱编程
利用pandas库统计一个数据集中每个字段下缺失值数目与所占比例

利用pandas库统计一个数据集中每个字段下缺失值数目与所占比例

作者: 不吃肉饼只喝汤 | 来源:发表于2017-06-14 09:58 被阅读0次

    pandas对数组的操作是非常方便的,这里主要用到一个DataFrame.count函数,自动统计非缺失数据数量

    下面是脚本代码

    import pandas as pd
    
    a=pd.read_csv(r'路径\数据集.csv',encoding="utf-8") #这里路径尽量用英文,我用中文做路径的时候各种报错
    
    data=pd.DataFrame()
    
    dd=[]
    cc=[]
    rr=[]
    
    for i in a.columns:
        d=len(a)-a[i].count()
        r=(d/len(a))*100
        rate='%.2f%%' % r
        print('字段名为:',str(i).ljust(10),'缺失值数量:',str(d).ljust(4),'缺失数量占比:',rate) #这里print主要是为了在脚本中观察是否获取到想要的数据,方便调试。
        dd.append(i)
        cc.append(d)
        rr.append(rate)
    
    data[u'字段名为']=dd
    data[u'缺失值数量']=cc
    data[u'缺失数量占比']=rr
    
    outfile=r'输出路径\处理后数据.xls' 
    data.to_excel(outfile) #同样输出路径尽量用英文,输出为xls格式
    

    相关文章

      网友评论

        本文标题:利用pandas库统计一个数据集中每个字段下缺失值数目与所占比例

        本文链接:https://www.haomeiwen.com/subject/iyksqxtx.html