121、处理缺失数据

处理缺失数据

pandas使用浮点值NaN(Not a Number)表示浮点和非浮点数组中的缺失数据，是一种便于被检测出来的标记： 1.png isnull()函数使用布尔值表示缺失值/NA： 2.png python内置的None值也会被当做NA值处理： 3.png NA值处理方法： 4.png

滤除缺失数据

使用dropna返回一个仅含非空数据和索引值的Series： 11.png 还可以通过布尔型索引滤除NA值： 12.png 对于DataFrame对象，dropna默认丢弃任何含有缺失值的行： 13.png 在dropna中传入how='all'只丢弃全为NA值的行： 14.png 在dropna中传入axis=1,how='all'只丢弃全为NA值的列： 15.png 使用thresh参数保留所需要的观测数据，具体用法如下： 16.png 17.png

填充缺失数据

调用fillna函数将缺失值替换为常数值： 21.png 通过一个字典调用fillna，实现对不同的列填充不同的值，具体做法如下： 22.png fillna默认返回新对象，也可以对现有对象进行修改： 23.png 使用插值方法填充缺失值： 24-1.png 24-2.png

如果全为NA值则插值方法不起作用。

还可以传入Series的平均值或中位数： 25.png fillna函数的参数如下： 26-1.png 26-2.png

源码：

# coding: utf-8

# In[1]:

import numpy as np
from pandas import Series,DataFrame
import pandas as pd

string_data = Series(['Guangdong','Shandong',np.nan,'Henan'])
print(string_data)


# In[2]:

# isnull()函数使用布尔值表示缺失值/NA
na_string = string_data.isnull()
print(na_string)


# In[3]:

# python内置的None值也会被当做NA值处理：
string_data[0] = None
na_string2 = string_data.isnull()
print(na_string2)


# In[4]:

# 使用dropna返回一个仅含非空数据和索引值的Series
from numpy import nan as NA
data = Series([1,NA,2.5,NA,5])
dataFlo = data.dropna()
print(dataFlo)


# In[5]:

# 使用布尔滤除NA值
boolFlo = data[data.notnull()]
print(boolFlo)


# In[6]:

# DataFrame对象的dropna用法
dataFr = DataFrame([[1,3,5.5],[3,NA,NA],
                   [NA,NA,NA],[NA,2.5,7]])
print(dataFr)


# In[7]:

cleaned = dataFr.dropna()
print(cleaned)


# In[8]:

# 在dropna中传入how='all'只丢弃全为NA值的行：
howdata = dataFr.dropna(how='all') 
print(howdata)


# In[9]:

dataFr[4] = NA
print(dataFr)


# In[10]:

# 丢弃全为NA值的列
data_col = dataFr.dropna(axis=1,how='all')
print(data_col)


# In[11]:

# 创建一个7行3列呈正态分布的DataFrame对象
from numpy.random import randn
df = DataFrame(np.random.randn(7,3))
print(df)


# In[12]:

df.ix[:4,1] = NA
print(df)


# In[13]:

df.ix[:2,2] = NA
print(df)


# In[14]:

df1 = df.dropna(thresh=1)
print(df1)


# In[15]:

df2 = df.dropna(thresh=2)
print(df2)


# In[16]:

df3 = df.dropna(thresh=3)
print(df3)


# In[17]:

print(df)


# In[18]:

# 调用fillna函数将缺失值替换为常数值
fil = df.fillna(0)
print(fil)


# In[19]:

# 通过字典调用fillna
filDic = df.fillna({1:0.5, 3:-1})
print(filDic)


# In[20]:

# 总是返回被填充对象的引用
_ = df.fillna(9999,inplace=True)
print(df)


# In[21]:

datafillna = DataFrame(np.random.randn(7,4))
datafillna.ix[4:,1] = NA; datafillna.ix[2:,2] = NA;
datafillna.ix[:,3] = NA
print(datafillna)


# In[22]:

# 使用插值方法填充缺失值
dfAr = datafillna.fillna(method='ffill')
print(dfAr)


# In[23]:

# 只填充2行
dfAr2 = datafillna.fillna(method='ffill',limit=2)
print(dfAr2)


# In[24]:

daSe = Series([1,NA,5.2,NA,7])
mean_daSe = daSe.fillna(daSe.mean())
print(mean_daSe)