美文网首页
缺失值插补2(转)

缺失值插补2(转)

作者: apricoter | 来源:发表于2019-02-06 15:59 被阅读21次

    举例1:向量类型判断缺失值is.na和缺失值的填补which

    (x<-c(1,2,3,NA))

    is.na(x) #返回一个逻辑向量,TRUE为缺失值,FALSE为非缺失值

    table(is.na(x)) #统计分类个数

    sum(x) #当向量存在缺失值的时候统计结果也是缺失值

    sum(x,na.rm = TRUE) #很多函数里都有na.rm=TRUE参数,此参数可以在运算时移除缺失值

    (x[which(is.na(x))]<-0) #可以用which()函数代替缺失值,which()函数返回符合条件的响应位置

    举例2:数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit

    (test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))

    is.na(test) #test中空值的判断

    which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相应行列坐标

    test[which(is.na(test),arr.ind = T)]<-0 #结合which进行缺失替代

    (test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函数可以直接删除值所在的行

    举例3:识别缺失值的基本语法汇总

    str(airquality)

    complete.cases(airquality) #判断个案是否有缺失值

    airquality[complete.cases(airquality),] #列出没有缺失值的行

    nrow(airquality[complete.cases(airquality),]) #计算没有缺失值的样本量

    airquality[!complete.cases(airquality),] #列出有缺失的值的行

    nrow(airquality[!complete.cases(airquality),]) #计算有缺失值的样本量

    is.na(airquality$Ozone) #TRUE为缺失值,FALSE为非缺失值

    table(is.na(airquality$Ozone))

    complete.cases(airquality$Ozone) #FALSE为缺失值,TRUE为非缺失值

    table(complete.cases(airquality$Ozone))

    可用sum()和mean()函数来获取关于缺失数据的有用信息

    sum(is.na(airquality$Ozone)) #查看缺失值的个数

    sum(complete.cases(airquality$Ozone)) #查看没有缺失值的个数

    mean(is.na(airquality$Ozone)) #查看缺失值的占比

    mean(is.na(airquality)) #查看数据集airquality中样本有缺失值的占比

    举例4:探索缺失值模式

    列表缺失值探索

    library(mice)

    md.pattern(airquality)

    图形缺失值探索

    library(VIM)

    aggr(airquality,prop=FALSE,number=TRUE)

    aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形,但用比例代替了计数

    aggr(airquality,prop=FALSE,number=FALSE) #选项numbers = FALSE(默认)删去数值型标签

    举例5:删除缺失值

    airquality[complete.cases(airquality),] #方法一:删除缺失值行

    na.omit(airquality) #方法二:删除缺失值的行

    举例6:缺失值回归模型插补

    newnhanes2<-nhanes2

    sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2数据集中第4列NA的行标识

    datatr<-newnhanes2[-sub,] #方法一:将第4列不为NA的数存入数据集datatr中

    datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二:将第4列不为NA的数存入数据集datatr中

    datate<-newnhanes2[sub,] #方法一:将第4列为NA的数存入数据集datate中

    datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二:将第4列为NA的数存入数据集datate中

    fit<-lm(chl~age,data = datatr) #利用datatr中age为自变量,chl为因变量构建线性回归模型lm

    newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中数据按照模型fit对nhanes2中chl中的缺失数据进行预测

    举例7:缺失值随机森林插补

    library(missForest)

    z<-missForest(airquality) #用随机森林迭代弥补缺失值

    air.full<-z$ximp

    zz<-missForest(nhanes2)

    nhanes2.full<-zz$ximp

    举例8:线性回归模型插补

    mice::md.pattern(airquality)

    index1<-is.na(airquality$Ozone) #对Ozone变量进行缺失值处理

    dput(colnames(airquality)) #求出变量列名称

    Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #训练集,需注意什么时候用!,什么时候用-

    Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #测试集

    fit<-lm(Ozone~.,data = Ozone_train) #建立线性回归模型

    summary(fit)

    airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )

    index2<-is.na(airquality$Solar.R) #Solar.R变量进行缺失值处理,Ozone变量数据已补齐

    Solar.R_train<-airquality[!index2,] #训练集

    Solar.R_test<-airquality[index2,] #测试集

    Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)

    summary(Solar.R_fit)

    airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)

    mice::md.pattern(airquality)

    举例:knn和bag缺失值插补(利用caret包中的preProcess函数,method参数有多种方式可选)

    question<-read.csv("问卷调研数据.csv")

    question<-question[,-1]

    str(question)

    for(i in 1:ncol(question)){

    question[,i]<-as.factor(question[,i])

    } #批量修改为因子类型

    str(question)

    举例9:利用KNN算法进行缺失值插补(只能对数值型变量处理)

    question<-read.csv("问卷调研数据.csv")

    question<-question[,-1]

    mice::md.pattern(question) #列表缺失值探索

    library(caret)

    knn.model<-preProcess(question,method = "knnImpute") #KNN处理数值型数据(欧式距离),不能处理因子型数据

    question1<-predict(knn.model,newdata = question)

    install.packages("RANN")

    mice::md.pattern(question1)

    table(question1$性别) #不是之前的1和2了

    table(question$性别)

    最后结果:knn不适合处理该数据,需要做哑变量处理,再套模型

    举例10:利用袋装算法进行缺失值插补(只能对数值型变量处理)

    question<-read.csv("问卷调研数据.csv")

    question<-question[,-1]

    mice::md.pattern(question) #列表缺失值探索

    library(caret)

    bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立

    install.packages("ipred")

    question2<-predict(bag.model,question) #预测结果

    mice::md.pattern(question2) #列表缺失值探索

    table(question2$性别)

    最后结果:bag算法不适合处理该数据

    相关文章

      网友评论

          本文标题:缺失值插补2(转)

          本文链接:https://www.haomeiwen.com/subject/dacisqtx.html