multinomial

#找出共有值进行变量筛选（两个数据都去除了>50%缺失和伪重复）
A<-read.csv("/Users/lyc/Desktop/2013me.csv",header=T)
colnames(A)[1] <- "flavor" 
B<-read.csv("/Users/lyc/Desktop/13e.csv",header=F)
B[1,1] <- "flavor"
df<-B[,]
df<-as.character(df)
library(dplyr)
C<-select(A,c(df))
#缺失填充
library(Hmisc)
na<-impute(C$tlfm200,mean)
C$tlfm200<-na
#共线性检查
XX<-cor(C[-1])
kappa(XX,extra=TRUE)
#变量筛选
#1.根据阈值筛选
library(Hmisc)
res<-rcorr(as.matrix(C[-1]))
Sat_Var <- character()
j=1
for(i in 1:nrow(res$r)){
  Var_Cor <- as.vector(res$r[,i][-i])
  if(all(Var_Cor < 0.5) & all(Var_Cor > -0.5) ){
    Sat_Var[j] <- colnames(res$r)[i]
    j = j + 1
  }
}
#2.提取相关程度较低的变量
irrel<-c("flavor",Sat_Var[])
D<-select(C,c(irrel))
#变量选择
#1.建立一个含有目标变量名的向量
vars<-c(colnames(D[-1]))
#2.建立空向量用以存储提取结果
result<-c() 
for(i in 1:31){
  fit<-nnet::multinom(substitute(flavor ~x,list(x=as.name(vars[i]))) , data= train.data, MaxNWts=1500)     
#将目标变量名和提取的AIC值存储起来
  result<-rbind(result,c(vars[i],AIC(fit)))
}
#按AIC大小排序
result<-result[order(result[,2]),]  
#选择最终的九个变量
Var_end<-result[c(1:9)]
#建立新的数据集
meta2013_end<-select(C,c(Var_end))
G<-C[1]
meta2013_end<-cbind(G,meta2013_end)
#分为数据集和预测集
library(caret)
set.seed(123)
training.samples<-meta2013_end$flavor%>%
  createDataPartition(p=0.8,list=FALSE)
train.data<-meta2013_end[training.samples,]
test.data<-meta2013_end[-training.samples,]
model_end<-nnet::multinom(flavor ~.,data= train.data, MaxNWts=1500)
#进行预测
predicted.classes<-model_end%>%
  predict(test.data)
head(predicted.classes)
#模型的准确性
mean(predicted.classes==test.data$flavor)
#用2014年数据验证预测模型
E<-read.csv("/Users/lyc/Desktop/2014me.csv",header=T)
library(zoo)
E[]<-lapply(E,na.aggregate)
colnames(E)[1] <- "flavor" 
predicted.classes2<-model_end%>%
  predict(E)
head(predicted.classes2)
mean(predicted.classes2==E$flavor)

ordinal categorical data

#找出共有值进行变量筛选（两个数据都去除了>50%缺失和伪重复）
A<-read.csv("/Users/lyc/Desktop/2013me.csv",header=T)
colnames(A)[1] <- "flavor" 
B<-read.csv("/Users/lyc/Desktop/13e.csv",header=F)
B[1,1] <- "flavor"
df<-B[,]
df<-as.character(df)
library(dplyr)
C<-select(A,c(df))
#缺失填充
library(Hmisc)
na<-impute(C$tlfm200,mean)
C$tlfm200<-na
#共线性检查
XX<-cor(C[-1])
kappa(XX,extra=TRUE)
#变量筛选
#1.根据阈值筛选
library(Hmisc)
res<-rcorr(as.matrix(C[-1]))
Sat_Var <- character()
j=1
for(i in 1:nrow(res$r)){
  Var_Cor <- as.vector(res$r[,i][-i])
  if(all(Var_Cor < 0.5) & all(Var_Cor > -0.5) ){
    Sat_Var[j] <- colnames(res$r)[i]
    j = j + 1
  }
}
#2.提取相关程度较低的变量
irrel<-c("flavor",Sat_Var[])
D<-select(C,c(irrel))
#变量选择
#1.建立一个含有目标变量名的向量
vars<-c(colnames(D[-1]))
#2.建立空向量用以存储提取结果
result<-c() 
for(i in 1:31){
  fit<-nnet::multinom(substitute(flavor ~x,list(x=as.name(vars[i]))) , data= train.data, MaxNWts=1500)     
  #将目标变量名和提取的AIC值存储起来
  result<-rbind(result,c(vars[i],AIC(fit)))
}
#按AIC大小排序
result<-result[order(result[,2]),]  
#选择最终的九个变量
Var_end<-result[c(1:9)]
#建立新的数据集
meta2013_end<-select(C,c(Var_end))
G<-C[1]
meta2013_end<-cbind(G,meta2013_end)
#将数据分为训练集和测试集
library(tidyverse)
library(lattice)
library(caret)
library(nnet)
library(magrittr)
library(MASS)
set.seed(123)
training.samples<-meta2013_end$flavor%>%
  createDataPartition(p=0.8,list=FALSE)
train.data<-meta2013_end[training.samples,]
test.data<-meta2013_end[-training.samples,]
m<-polr(as.factor(flavor) ~.,data= train.data,Hess=TRUE)
predicted.classes<-m%>%
  predict(test.data)
head(predicted.classes)
#模型的准确性
mean(predicted.classes==test.data$flavor)

关键问题是，相关性虽然小但是p值并不显著，所以不能说明不完全相关，或许可以反过来考虑，找到相关性强且显著的去除即是完全不相关的，还要考虑为什么选择六个变量，为什么预测效率这么低及单变量回归到底有没有用，为什么每次都是全模型效果最好，可不可以考虑除单变量外的最佳情况