学习笔记:Python数据分析之(一)数据清洗和准备

数据清洗和准备是获取样本后进行数据分析、数据挖掘的第一步。过程比较繁琐，耗时长，但非常重要。以下是个人学习和实操过程中的笔记总结，希望能对读者带来一定帮助。

---

1.缺失值处理 isnull( ) 、fillna( ) 、dropna( )

（1）查看

缺失：

#查看数据集缺失，返回每列的缺失个数  (df.isnull()).sum()

#查看某字段有缺失的行 df[df.score.isnull()]

#查看某字段每行的缺失情况：

返回T/F：df.score.isnull() 

返回0/1：df.score.isnull().apply(int)

#缺失占比，返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)

（2）填补 fillna

以指定值填补：

#填补一列：df.a.fillna(df.a.mean/median())

#填补多列：

fill_cols=['a','b','c']

fill_values={col:df[col].mode()[0] for col in fill_cols}

df=df.fillna(fill_values)

通过字典调用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)

（3）删除 dropna

df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)

*df.dropna(thresh=2)  这一行除去NA值，剩余数值的数量大于等于2，便显示这一行。

2.重复值处理 duplicated( )、drop_duplicates( )

（1）查看

#查看数据集重复，返回重复的行数

(df.duplicated()).sum()

(df.duplicated(subset=['a','b','c'])).sum()

#查看指定字段有的重复的行

df[df.a.duplicated()]

df[df.duplicated(subset=['a','b','c'])]  #isnull( )没有此用法

#查看指定字段的重复情况，

返回T/F：df.a.duplicated()

返回0/1：df.a.duplicated().astype(int)

（2）去重

df.drop_duplicates()

df.drop_duplicates(subset=None, keep='first', inplace=False)

keep : {‘first’, ‘last’, False}, default first’删除重复项并保留第一次出现的项(duplicated和drop_duplicates默认保留的是第一个出现的值组合)

#统计不重复数：df.drop_duplicates('a').a.count()

3.替换与赋值 replace、np.where、map

（1）替换

#df.a.replace(-999,np.nan)

      df.replace({'a':{-999:np.nan},'name':{'bob':np.nan}})

      df.replace([-999, -1000], [np.nan, 0])

      df.replace({-999:np.nan,-1000: 0})

Customer2.replace('\r','').replace('\n','').replace('\t','')  \r:回车 \n:换行 \t：横向制表符

data['资金量'] = np.where(data['资金量'] <data['金额'],np.nan, data['资金量'])

（2）条件赋值：

#  df.loc[df.group==1,'class_n']='class1'

    df.loc[df.group==2,'class_n']='class2'

#改列：f 行的age改为1.5： df.loc['f','age']=5

#改行： 插入新行 ：df.loc['k']=['cow',3,2,'yes']

（3）Series map方法：

法一：

data=pd.DataFrame({'k1':['one','two']*3+['two'],'k2':[1,1,2,3,5,4,4]})

data['k1']=data['k1'].str.upper()

duizhao={'ONE':'LILY','TWO':'TOM'} #映射

data['duizhao']=data.k1.map(duizhao)

data

法二：

data['duizhao']=data['k1'].map(lambda x:duizhao[x.upper()])

data['duizhao']=data['k1'].map(lambda x:duizhao[x])