2017京东登录识别-R代码

2017京东登录识别-R代码

GitHub：https://github.com/hallo128/Compete/tree/master/jd_game

（注：简书的排版不太友好，很多内容没有显示出来，而我也不准备死磕来调格式。如果对代码或者更细致的内容感兴趣的，可以前往上面的GitHub下载这篇完整的PDF，当然了里面也会有数据和代码，也可以练练手）

处理数据前：先用SPSS和Excel进行数据的查看（排序、描述统计、类别数、比例、异常等）

1、代码实现功能介绍

R实现部分，我将主要解释说明，特征构建和结果导出部分；模型构建的话，不限于R语言做出的结果。

构建特征表【时间类型转换、分组统计特征、数据集合并】-训练集、测试集

输入：赛题给定数据.csv

输出：可用于建模的特征表.csv

模型构建【平衡样本、分训练集和验证集、模型（选参数、预测结果）】

输入：用于建模的特征表.csv

输出：测试集的预测数据.csv

结果导出【数据匹配、按指定格式导出】

输入：测试集的预测数据.csv（适用于不同软件做出的结果）

输出：可用于提交的数据.csv

2、构建特征表

（1）代码文件：

由于构建特征的时候，我们有过很多思路，按天、按1/4天、按ip，但都是基于一开始的文件演变的。

而且最后结果显示第一个文件的特征说明也比较好，所以我只特别介绍一个文件。

文件2：“构建特征6个小时-训练集.R”、“构建特征6个小时-测试集.R” 

特别地，登录数据“按id，按1/4天”进行切分

文件3：“构建特征6个小时-训练集+ip.R”、“构建特征6个小时-测试集+ip.R”

特别地，在文件2的基础上，添加了ip数据的信息

R编程方法介绍【时间类型转换、分组统计特征、数据集合并】

1、时间类型转换

时间类型转换【字符串-时间戳-取时间】

R语言中可以方便实现这3个内容的相互转换

（1）为什么需要转换 

实际记录需要：

很多比赛都会给出时间戳或时刻点，这个指标存在的原因：一方面，是由于系统在记录用户行为的时候，肯定会记录下用户是什么时刻发生了这样的行为；另一方面，很多时候我们考虑和观测到的都是一个随着时间变化的行为，正因为有了时间的记录和排序，从而让我们有可能随着时间来得到有用的信息。

建模构建特征需要：

首先，时间戳有利于你将数据按时间排序。

其次，时间戳便于你提取时间特征（年、月、日、小时、分钟、周）

最后，时间戳便于计算时间差（只需要2个时间戳相减）和平均时刻

（2）R语言如何实现

R语言中重点介绍2个函数：as.POSIXct()和strptime()，下面是这2个函数的具体使用方法

2、分组统计特征

这个内容对于经常使用数据库，写SQL语言的同学，应该不陌生。写R代码时，查到过好几包，目前我选择了dplyr包。接下来我将说明它的具体用法。 

（1）步骤：

先把需要分组的关键字转换为“因子型”

group_by（）——数据没有变化，为第三步做准备

对第二步的数据集调用summarise()，可以进行的统计指标，如右图所示【缺点：只能调用右图的函数】

（2）例子 

（3）特别地，结合dplyr::filter()使用，可以按条件进行分组统计

3、数据集合并及相关数据处理方法

合并数据集——merge()

过滤数据集——subset()与dplyr::filter()

检查数据完整性并填充——complete.cases()、na.omit()、is.na()

多指标排序——order()

纵向合并数据——cbind()

对某列数据进行切分——splitstackshape::cSplit()

导出数据——write.csv() 

4、结果导出

为了使测试集的预测数据与用于提交的数据进行匹配，按照我们构建特征的思路。就是“按id，按小时”进行匹配，即可。

对导出数据的格式进行查看（通过notepad++或者任何编辑器）。

需要注意的是，R语言中导出的数值很有可能是字符型，那么可以通过如下公式进行转换。

kk$y <- as.numeric(as.character(kk$y))

t1 = 1428641659                #时间戳（数值）

time1 = '2015-04-10 12:54:19'  #时刻（字符串） 

#----------------时间转换

#----法一：as.POSIXct()

#用法：输入-时间戳/字符串，先转换为日期型；再按需要，转换为字符串/时间戳

#用法1：将时间戳转换字符串

l0 = as.POSIXct(t1, origin="1970-01-01 00:00:00")    #将时间戳转换为日期型

lc = as.character(l0)                                                    #将日期型转换为字符串

#用法2：将字符串转换时间戳

l1 = as.POSIXct(time1, origin="1970-01-01 00:00:00")  #将字符串转换为日期型

l2 = as.numeric(l1)                                                          #将日期型转换为时间戳

l3 = as.numeric(as.POSIXct(time1, origin="1970-01-01 00:00:00"))  #将字符串转换为时间戳（最常用）

#----法二：strptime()

#特别地：输入-只能为字符串

l4 = as.numeric(strptime(time1,"%Y-%m-%d %H:%M:%S"))  #将字符串转换为时间戳(用法类似)

#特点：任意取出时间点

hour = strftime(time1, format = "%m-%d %H")