IJCAI-15 商家促销后的重复买家预测比赛纪实
标签： ML比赛 IJCAI
比赛介绍
两年一届的人工智能顶会IJCAI与阿里合办的机器学习比赛。由Alibaba inc.提供比赛数据。和去年以及今年的天池大数据竞赛赛题相似但又不同。
我们知道，国内外的电商有各种各样促（pian）销（qian）活动，像国外的黑五（Black Friday），国内的双十一等等。大量商家通过打折促销吸引顾客。而我们，aka. 剁手党，也在这一天伺机而动。其中，有许多顾客是被商家的促销所吸引的新顾客，那么他们会不会在促销之后继续在这家店买东西呢？本次比赛题目就是预测这些会重复购买的顾客。
比赛分为两个阶段（阿里比赛的一贯套路），第一阶段数据量相对较小，参赛者可以本地建模，提交最终的结果即可，最终TOP50的选手or队伍可以进入第二阶段。第二阶段则需要把代码提交到阿里的云平台上运行（当然是官方提供的接口）。
比赛的评测标准是ROC曲线下面积（AUC[1]）。典型的二分类分类器评估标准。
我们队伍LinkinPark在Stage1 rank9，Stage2 rank4. 第二阶段最后几天被挤出前三。。（囧）。
数据分析与预处理
| 数据格式 | 文件名 | 字段 |
|---|---|---|
| data format 2 | train_format2.csv | user id,age range,gender |
| merchant_id,label,activity log test | ||
| test_format2.csv | user_id,age_range,gender | |
| merchant_id,label,activity log test | ||
| data format 1 | user_log_format1.csv | user_id,item_id,cat_id,seller_id |
| brand_id,time_stamp,action_type | ||
| user_info_format1.csv | user_id,age_range,gender | |
| train_format1.csv | user_id,merchant_id,label | |
| test_format1.csv | user_id,merchant_id,label |
先来看看第一阶段提供下载的数据。官方提供了两种数据格式（见下表）
| 数据格式 | 文件名 | 字段 |
|---|---|---|
| data format 2 | train_format2.csv | user id,age range,gender |
| merchant_id,label,activity log test | ||
| test_format2.csv | user_id,age_range,gender | |
| merchant_id,label,activity log test | ||
| data format 1 | user_log_format1.csv | user_id,item_id,cat_id,seller_id |
| brand_id,time_stamp,action_type | ||
| user_info_format1.csv | user_id,age_range,gender | |
| train_format1.csv | user_id,merchant_id,label | |
| test_format1.csv | user_id,merchant_id,label |
两个数据格式都包含了双11之前6个月的用户行为日志，label表示用户是否在双11之后的6个月内重复购买，在格式2的数据中，label有-1的，表示当前用户不是当前商家的双11新用户。可见，格式一的数据是user-friendly（官方说法）的，易于做特征工程。然而，格式一中是没有label为-1的(u,m)对的，因此相比格式二会少一些信息。
| Data format | #Pairs | #User | #Merchant | #Item | #Cat | #Brand |
|---|---|---|---|---|---|---|
| data format 1 | 4215979 | 126474 | 4995 | 800322 | 1542 | 7936 |
| data format 3 | 14052684 | 424170 | 4995 | 1090071 | 1658 | 8444 |
我们现在将那些label为-1的数据记为Data format3，来看看format1和3的数据统计信息（下表）。
| Data format | #Pairs | #User | #Merchant | #Item | #Cat | #Brand |
|---|---|---|---|---|---|---|
| data format 1 | 4215979 | 126474 | 4995 | 800322 | 1542 | 7936 |
| data format 3 | 14052684 | 424170 | 4995 | 1090071 | 1658 | 8444 |
| ---- | #Click | #Cart | #Favour | #Buy | Total |
|---|---|---|---|---|---|
| All-Period | 48550712 | 67728 | 3277708 | 3005723 | 54901871 |
| 11-11 | 9188150 | 12621 | 1220285 | 156450 | 10577506 |
| Daily Average Before 11-11 | 224928 | 299 | 11181 | 15485 | 240594 |
然后再看看双11和非双11用户各种行为统计。
| ---- | #Click | #Cart | #Favour | #Buy | Total |
|---|---|---|---|---|---|
| All-Period | 48550712 | 67728 | 3277708 | 3005723 | 54901871 |
| 11-11 | 9188150 | 12621 | 1220285 | 156450 | 10577506 |
| Daily Average Before 11-11 | 224928 | 299 | 11181 | 15485 | 240594 |
双11的行为数数十数百倍于平时。。。
特征工程
对于一般的分类算法，特征空间的选择是非常重要的，即使你的算法再牛逼，没有好的搜索空间的支持，也然并卵。因此特征工程在DM/ML比赛是大厦的基石，它决定了你的楼能盖多高。
特征体系
统一介绍一下两个阶段用到的特征，第二阶段的特征几乎涵盖了第一阶段的。
- Baseline特征
官方提供的一套为LR设计的特征体系。首先，获得每个商家的最相似的5个商家，计算方法是统计商家之间的共同用户。这些商家的id离散化作为特征（4995维稀疏特征）。然后，取当前用户对当前商家的行为特征。 - 信息描述类特征
这是我们特征的主力军，时间都花在这上面了。这部分特征几乎都是具有物理意义的特征，总体可以分为三种：user，merchant，(u,m)对特征。由具体的物理意义再分为三类：- 计数类：行为计数、行为天计数、行为对象计数等；
- 比值类：平均每天行为、回购率、每月行为占比等；
- 生命周期类：用户首次/最后行为日、生存周期。
- 离散特征
为什么要设计这套特征？为了使ID类完全个性化，用在LR上效果特别好（线性模型，L1正则，可实现效果好）。
离散的方法，是将类别|ID可取的值展开成多维稀疏向量，只有对应的部分标1，其余为0.我们离散的特征为：- 用户的年龄和性别；
- 当前用户在当前商家购买的商品ID、商品类别ID、品牌ID；
- 当前用户在当前商家重复购买的品牌ID。
特征处理
LR是一个傲娇的模型，喂的特征量纲不统一他是不会吃的- -。因此我们需要统一量纲。我们使用了log转化，即对会产生问题的特征进行了log(x)的转换。为什么不用z-score/minmax归一化方法？纯粹是因为第二阶段提供的特征提取框架很难实现。
工具和平台
第一阶段
scikit-learn[2]+xgboost[3]，我是python党；)
xgboost是个好工具！感谢陈天奇大神带来这么牛x的GBM实现。
第二阶段
第二阶段官方提供了一个平台“方便”参赛者提取特征和跑模型。基础平台：阿里ODPS，特征提取：Graph（管理员说的，我估计是graphlab那个框架），lr，gbrt实现：Xlib。
如果我们只用Xlib的LR和GBRT的话，我们只需要提供提取特征的代码，并打包提交即可。
这个平台让人蛋疼的几点：
- 首先是特征提取。集群使用十台worker虚拟机，每个worker上有10个vertex，用户的日志（format2）被分别分在这些vertex上，特征提取程序分别在这些vertex上运行，达到并行的效果。这里，可以编程使每个用户的log都分配在同一个vertex上，但是每个商家就不一定了，因此如果我们在这个框架下提取商家的特征，会导致这些特征不是全局的问题- -。我们只能使用stage1的数据提取特征在作为辅助文件上传。。。
- 其次是模型融合。官方的框架无法实现线上LR和GBDT哪怕是简单stacking learning的融合。这使得我们只能以单个模型比赛（虽然大家都一样。。）。
模型
- LR：Logistic Regression[4]，简单实用，线性模型，训练快速。可用L1/L2正则化，SGD。在面对stage2 100W+维特征时候表现很好。
- RF：Random Forest[^rf]，各种随机，多棵树融合。stage1作为辅助模型融合。
- GBRT：Gradient Boost Regression Tree[5]，梯度提升框架，不用特征归一，泛化强，效果赞。再次膜拜其实现Xgboost[3]。
- MFM：Multi-Instance Factorization Machines，这个模型是我们队一个大牛设计的，结合了Factorization Machines[6]和Multi-Intance[7]框架。
MFM不需要做特征工程！我们需要做的就是将每个用户的log打包，对于一个(u,m)对，一个log加上一个flag（这个log是否与m相关联）对应一个instance，一个用户的所有instance为一个bag。所以最终用户是否是商家的重复买家取决于用户所有的log是否发生在当前商家。
FM被用来预测一个instance对一个重复买家的positive贡献，由等式1定义，其中$M(x)$由等式2定义。
$$
Pr(y(x)=1;w,{v}) = \frac{1}{1+e^{-M(x)}}
$$
$$
M(x)=w_0+\sum_{i-1}Dw_ix_i+\sum_{i=1}{D}\sum_{j=i+1}^{D}<v_i,v_j>x_ix_j
$$
我们要求得目标函数是：
$$
argmax_{w,{v}}\prod Pr(y(B^+)=1)\prod Pr(y(B^-)=-1)
$$
使用SGD学习$w,{v}$，再用L-BFGS调节L2正则化后的所有权重。
模型融合
我们第一阶段的融合框架：
Ensemble框架
| Model | GBRT | GBRT | GBRT | RF | Final Model |
|---|---|---|---|---|---|
| Feature Set Size | 383(all) | 276 | 254 | 383(all) | mix |
| AUC | 0.702711 | 0.702645 | 0.702585 | 0.701084 | 0.70319 |
其实很简单，就是特征池中选择特征$\rightarrow$模型$\rightarrow$stacking learning[8]。
我们直接把MFM的结果作为一个High-level的特征加入到特征池中。提升了0.0018，0.700936$\rightarrow$0.702711.
各模型结果：
| Model | GBRT | GBRT | GBRT | RF | Final Model |
|---|---|---|---|---|---|
| Feature Set Size | 383(all) | 276 | 254 | 383(all) | mix |
| AUC | 0.702711 | 0.702645 | 0.702585 | 0.701084 | 0.70319 |
结果
第一阶段我们队伍获得了第9。
第二阶段我们队伍获得了第4。
总结
历程
写一下我参加这次比赛的历程，由于今年阿里的移动推荐比赛，第一阶段就被淘汰了（T.T）才转战这个比赛的。看完赛题就着手做了起来，每天想一些新的特征，再xgb调调参数，分数一直稳步再涨，一度到了LB6。然后有几天分数就卡主上不去了，当时想着是不是应该招人组个队，分享一下思路。于是去比赛论坛上发了个贴子，当天晚上和之后的那个队长聊到了2点多钟。。。他是有老师支持的（真好），虽然当时他们名次没有我高，我还是同意让他当了队长（毕竟人家带着一帮人。。），第二天我们队又来了个大牛，就是做MFM那个，他是自己造的轮子，分数有0.689.于是我们队就在最后五天组成了。然后我们就在最后五天进行了特征融合，他们那边把特征输出给我，我来组合，跑模型，跑完的结果在给他做ensemble。
经验&教训
- 组队真的有必要。个人精力非常有限，组队不仅可以提供新的思路，还能使任务并行。
- 这种比赛拼的到底是什么。我觉得1.特征工程，对数据的理解，不停地尝试都是特征工程需要做的。2.融合，之后参加了几次kaggle比赛知道了融合强大，简单的stacking learning就能获得不少的提升。
- 一个教训是我们在组队之初犯了许多错误，没有一个比较规范的融合模式，导致比较混乱。
Reference
-
Andrew P. Bradley. The use of the area under the roc curve in the evaluation of machine learning algorithms. Pattern Recognition, pages 1145–1159, 1997. ↩
-
Olivier Chapelle, Eren Manavoglu, and R´omer Rosales. Simple and scalable response prediction for display advertising. ACM Transactions on Intelligent Systems and Technology, 5(4):61:1–61:34, 2014. ↩
-
Jerome H. Friedman. Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29:1189–1232, 1999. ↩
-
Steffen Rendle. Factorization machines. In IEEE International Conference on Data Mining series (ICDM), pages 995–1000, 2010. ↩
-
Oded Maron and Tom´as Lozano-P´erez. A framework for multiple-instance learning. In Advances in Neural Information Processing Systems 10, pages 570–576, 1997. ↩
网友评论