本版块打算分享一些数据分析过程中用到的数据清洗，统计分析，建立简单模型等。
拿到数据后，在清楚了分析需求后，别急着各种统计、模型一块上，先给数据做个“清洁”再说。数据中往往会有各种缺失值，异常值，错误值等，今天先介绍一下如何处理缺失值，才能更好的数据分析，更准确高效的建模。
一 查看数据集的缺失情况
R中使用NA代表缺失值，用is.na识别缺失值，返回值为TRUE或FALSE。由于逻辑值TRUE和FALSE分别等价于数值1和0，可用sum()和mean()来获取数据集的缺失情况。
载入R包及内置数据集
library(VIM)#VIM包的sleep数据集示例data(sleep,package="VIM")
1）查看数据集整体有多少缺失值及百分比
sum(is.na(sleep))mean(is.na(sleep))
2）查看数据集特定变量(列)有多少缺失值及百分比
sum(is.na(sleep$Sleep))mean(is.na(sleep$Sleep))
3）数据集中多个行包含缺失值
mean(!complete.cases(sleep))
4）列出没有缺失值的行
sleep[complete.cases(sleep),]#利用函数list <-which(rowSums(is.na(sleep)) >0) ;sleep[-list,]# 效果同上
5）列出有一个或多个缺失值的行
sleep[!complete.cases(sleep),]list <-which(rowSums(is.na(sleep)) >0) ;sleep[list,]
二 探索缺失值
2.1 mice包展示数据整体的缺失情况
library(mice)md.pattern(sleep)BodyWgtBrainWgt Pred Exp Danger Sleep Span Gest Dream NonD 421 1 1 1 1 1 1 1 1 1 091 1 1 1 1 1 1 1 0 0 231 1 1 1 1 1 1 0 1 1 121 1 1 1 1 1 0 1 1 1 111 1 1 1 1 1 0 1 0 0 311 1 1 1 1 1 0 0 1 1 221 1 1 1 1 0 1 1 1 0 221 1 1 1 1 0 1 1 0 0 300 0 0 0 4 4 4 12 14 38
其中 ’1’代表完好数据，’0’代表缺失值。左侧第一列，’42’代表有42条数据无缺失值，第一个’9’代表9条数据Dream和NonD同时缺失。最后一行返回的就是每一个变量（列）对应的缺失数目，38为一共有多少缺失值。下图同样的意思。
2.2 VIM包展示数据缺失情况
1）展示sleep数据集的整体缺失情况
library("VIM")aggr(sleep,prop=FALSE,numbers=TRUE)
2）展示sleep数据集感兴趣的变量的缺失情况
marginplot(sleep[c("Sleep","Dream")],pch=c(20),col=c("darkgray","red","blue"))
三 处理缺失值
当充分了解了缺失值的情况后，可以根据数据量的大小，以及某一列是否为重要的预测作用变量，对数据集中的NA行和某些NA列进行处理。
3.1 删除缺失值
1）删除数据集中所有含有NA的行和列
sleep_noNA <- na.omit(sleep)sleep_noNA <-x[complete.cases(sleep),]#两种一样的效果
2）删除所有含有NA的列
na_flag<-apply(is.na(sleep), 2,sum)sleep[,which(na_flag == 0)]
3）删除所有含有NA的行
na_flag<-apply(is.na(sleep), 1,sum)sleep[which(na_flag == 0),]
4）根据某些列的NA，移除相应的行
sleep[complete.cases(sleep[,c(1,3)]),]
4）表示将向量x中所以NA元素用某个值来代替
sleep[is.na(sleep)] <-999
3.2 填充缺失值
当数据量不是很大或者变量比较重要时候，可以考虑对缺失值进行填充。
1）常见数值填补
library(Hmisc)data(sleep)#均值填充，适用于接近正态分布impute(sleep$NonD , mean)#中位数填充，偏态数据但是不是很严重impute(sleep$Dream , median)# 填充特定值impute(sleep$Span,0)
2）DMwR包进行kNN最近邻插补
library(DMwR)data(sleep)data<- sleep # 备份数据，对比填充结果set.seed(1120)sleep$BrainWgt[sample(nrow(sleep),20)] <- NAhead(sleep)BodyWgtBrainWgt NonD Dream Sleep Span Gest Pred Exp Danger16654.000 5712.0 NA NA 3.3 38.6 645 3 5 321.000 6.6 6.3 2.0 8.3 4.5 42 3 1 333.385 NA NA NA 12.5 14.0 60 1 1 140.920 5.7 NA NA 16.5 NA 25 5 2 352547.000 4603.0 2.1 1.8 3.9 69.0 624 3 5 4610.550 NA 9.1 0.7 9.8 27.0 180 4 4 4
# 最近邻填补缺失值
knnOutput<-knnImputation(sleep[c(1:6)])anyNA(knnOutput)head(knnOutput)BodyWgtBrainWgtNonDDreamSleepSpan1 6654.0005712.000002.5344671.6758303.338.6000002 1.0006.600006.3000002.0000008.34.5000003 3.38519.6703410.1097102.24860412.514.0000004 0.9205.7000012.8033453.35310416.58.1735685 2547.0004603.000002.1000001.8000003.969.0000006 10.55095.834599.1000000.7000009.827.000000
# 将插补值与实际值进行对照
actuals <-data$BrainWgt[is.na(sleep$BrainWgt)]predicteds <- knnOutput[is.na(sleep$BrainWgt),"BrainWgt"]
# 两样本均值检验并计算其相似度
t.test(actuals, predicteds)# 接受差值为0的假设cor(actuals, predicteds)# 相关系数
当然根据数据和目的的不同，采用的缺失值处理方式肯定不一样，需要我们对数据和需求有足够的认识，做出比较好的判断和处理。
网友评论