数据分析|R-缺失值处理

本版块打算分享一些数据分析过程中用到的数据清洗，统计分析，建立简单模型等。

    拿到数据后，在清楚了分析需求后，别急着各种统计、模型一块上，先给数据做个“清洁”再说。数据中往往会有各种缺失值，异常值，错误值等，今天先介绍一下如何处理缺失值，才能更好的数据分析，更准确高效的建模。

一 查看数据集的缺失情况

    R中使用NA代表缺失值，用is.na识别缺失值，返回值为TRUE或FALSE。由于逻辑值TRUE和FALSE分别等价于数值1和0，可用sum()和mean()来获取数据集的缺失情况。

载入R包及内置数据集

library(VIM)#VIM包的sleep数据集示例data(sleep,package="VIM")

1）查看数据集整体有多少缺失值及百分比

sum(is.na(sleep))mean(is.na(sleep))

2）查看数据集特定变量(列)有多少缺失值及百分比

sum(is.na(sleep$Sleep))mean(is.na(sleep$Sleep))

3）数据集中多个行包含缺失值

mean(!complete.cases(sleep))

4）列出没有缺失值的行

sleep[complete.cases(sleep),]#利用函数list <-which(rowSums(is.na(sleep)) >0) ;sleep[-list,]# 效果同上

5）列出有一个或多个缺失值的行

sleep[!complete.cases(sleep),]list <-which(rowSums(is.na(sleep)) >0) ;sleep[list,]

二  探索缺失值

2.1 mice包展示数据整体的缺失情况

library(mice)md.pattern(sleep)BodyWgtBrainWgt Pred Exp Danger Sleep Span Gest Dream NonD  421        1    1  1      1    1    1    1    1    1  091        1    1  1      1    1    1    1    0    0  231        1    1  1      1    1    1    0    1    1  121        1    1  1      1    1    0    1    1    1  111        1    1  1      1    1    0    1    0    0  311        1    1  1      1    1    0    0    1    1  221        1    1  1      1    0    1    1    1    0  221        1    1  1      1    0    1    1    0    0  300    0  0      0    4    4    4    12  14 38

其中 ’1’代表完好数据，’0’代表缺失值。左侧第一列，’42’代表有42条数据无缺失值，第一个’9’代表9条数据Dream和NonD同时缺失。最后一行返回的就是每一个变量（列）对应的缺失数目，38为一共有多少缺失值。下图同样的意思。

2.2 VIM包展示数据缺失情况

1）展示sleep数据集的整体缺失情况

library("VIM")aggr(sleep,prop=FALSE,numbers=TRUE)

2）展示sleep数据集感兴趣的变量的缺失情况

marginplot(sleep[c("Sleep","Dream")],pch=c(20),col=c("darkgray","red","blue"))

三  处理缺失值

    当充分了解了缺失值的情况后，可以根据数据量的大小，以及某一列是否为重要的预测作用变量，对数据集中的NA行和某些NA列进行处理。

3.1 删除缺失值

1）删除数据集中所有含有NA的行和列

sleep_noNA <- na.omit(sleep)sleep_noNA <-x[complete.cases(sleep),]#两种一样的效果

2）删除所有含有NA的列

na_flag<-apply(is.na(sleep), 2,sum)sleep[,which(na_flag == 0)]

3）删除所有含有NA的行

na_flag<-apply(is.na(sleep), 1,sum)sleep[which(na_flag == 0),]

4）根据某些列的NA，移除相应的行

sleep[complete.cases(sleep[,c(1,3)]),]

4）表示将向量x中所以NA元素用某个值来代替

sleep[is.na(sleep)] <-999

3.2 填充缺失值

当数据量不是很大或者变量比较重要时候，可以考虑对缺失值进行填充。

1）常见数值填补

library(Hmisc)data(sleep)#均值填充，适用于接近正态分布impute(sleep$NonD , mean)#中位数填充，偏态数据但是不是很严重impute(sleep$Dream , median)# 填充特定值impute(sleep$Span,0)

2）DMwR包进行kNN最近邻插补

library(DMwR)data(sleep)data<- sleep                  # 备份数据，对比填充结果set.seed(1120)sleep$BrainWgt[sample(nrow(sleep),20)] <- NAhead(sleep)BodyWgtBrainWgt NonD Dream Sleep Span Gest Pred Exp Danger16654.000  5712.0  NA    NA  3.3 38.6  645    3  5      321.000      6.6  6.3  2.0  8.3  4.5  42    3  1      333.385      NA  NA    NA  12.5 14.0  60    1  1      140.920      5.7  NA    NA  16.5  NA  25    5  2      352547.000  4603.0  2.1  1.8  3.9 69.0  624    3  5      4610.550      NA  9.1  0.7  9.8 27.0  180    4  4      4

# 最近邻填补缺失值

knnOutput<-knnImputation(sleep[c(1:6)])anyNA(knnOutput)head(knnOutput)BodyWgtBrainWgtNonDDreamSleepSpan1 6654.0005712.000002.5344671.6758303.338.6000002    1.0006.600006.3000002.0000008.34.5000003    3.38519.6703410.1097102.24860412.514.0000004    0.9205.7000012.8033453.35310416.58.1735685 2547.0004603.000002.1000001.8000003.969.0000006  10.55095.834599.1000000.7000009.827.000000

# 将插补值与实际值进行对照

actuals <-data$BrainWgt[is.na(sleep$BrainWgt)]predicteds <- knnOutput[is.na(sleep$BrainWgt),"BrainWgt"]

# 两样本均值检验并计算其相似度

t.test(actuals, predicteds)# 接受差值为0的假设cor(actuals, predicteds)# 相关系数

    当然根据数据和目的的不同，采用的缺失值处理方式肯定不一样，需要我们对数据和需求有足够的认识，做出比较好的判断和处理。