知识点：
unique去重
logistic回归glm命令
kaggle的案例网址：https://www.kaggle.com/c/sf-crime
提供旧金山2003-2015年88万行的犯罪记录，包括日期，犯罪类型，地区，警区，处置办法，地址等。
2-train.png
要求：根据train的记录，预测test犯罪集的数据类别。
2.png
这里的数据虽然有88w行之多，但是指标只有9个，并不算特别复杂。课程使用逻辑回归来做。
背景理论：
Logistic回归与多重线性回归都归于同一个家族，即广义线性模型（generalizedlinear model）。
这一家族中的模型形式基本类似，不同的就是因变量不同。
如果是连续的，就是多重线性回归；
如果是二项分布，就是Logistic回归；
如果是泊松分布，就是泊松回归；
Logistic回归的因变量可以是二分类的，也可以是多分类的，实际中最常用的就是二分类的Logistic回归
此外：
Logistic回归模型的适用条件
1 因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但重复计数现象指标不适用于Logistic回归。
2 残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。
3 各观测对象间相互独立
首先加载包和文件
library(MASS)
library(readr)
library(caret)
library(ggplot2)
library(lubridate)
setwd("E:")
train<-read_csv("sf_train.csv")
test<-read_csv("sf_test.csv")
head(train)
然后用lubridate包的命令，将日期分成年月时间等几组变量。这里做了一个函数，用函数带入train和test两个文件。
make_feature<-function(df){
Dates1<-strptime(as.character(df$Dates),"%Y-%m-%d %H:%M:%S")
df$Year<-year(Dates1)
df$Month<-month(Dates1)
df$Hour<-hour(Dates1)
return(df)
}
train<-make_feature(train)
head(train)
test<-make_feature(test)
head(test)
这时候train和test就会多了几列时间参数。
3.png
第三步，设置两个空数据框，第一个submission是要提交文件，变量与test的相同，第二个response的变量是train文件里犯罪种类。
submission<-data.frame(Id=test$Id)
response<-data.frame(Cat=train$Category)
#此处用unique将犯罪种类去重
crime<-as.character(unique(train$Category))
crime<-sort(crime)
。
1.png
设置一个循环，每次犯罪类型相同时，赋值为1，否则为0.
之后将其与train的其他变量进行线性回归，类型为二项分布
for(i in crime){
response[,i]<-0
response[,i][response$Cat==i]<-1
fit<-glm(response[,i]~PdDistrict+DayOfWeek+Year+Month+Hour+X:Y,
data=train,family=binomial)
pred<-predict(fit,test,type="response")
submission[i]<-pred
}
这个参数能用在binomial数据,也就是响应变量是二分型的时候,这个参数选成type=response,表示输出结果预测响应变量为1的概率。
(老师注：response[,i] 就是把稠密矩阵变为稀疏矩阵)
response
submission
0.png
最后检查一下，写入csv文件。大功告成。
head(submission)
write.csv(submission,"submission_criminal.csv",row.names=F)
相应的可视化，表示某类犯罪的发生点。不过因为是googlemap，要翻墙。
map<-get_map("San Francisco",zoom=12,color="bw")
plot(map)
map_crime<-function(crime_df,crime){
filtered<-filter(crime_df,Category %in% crime)
plot<-ggmap("San Francisco",zoom=12,color="bw",extent='device')
+geom_point(data=filtered,aes(x=X,y=Y,color=Category),alpha=0.6)
return(plot)
}
map_crime(train,c('SUICIDE','ARSON'))
虽然是简单的线性回归，但要把参数用对用好也不容易，尤其对于数学功底不深的小白我来说，而且还有许多其他相关的处理，也是有挑战性的新内容。
多做笔记，多做功课，日拱一卒。
来自炼数成金听课比较，代码有些小修改。
网友评论