不努力一定没结果，努力了没结果更痛苦。
事情没做怎么知道自己有多垃圾。
亲身经历告诉你，鸡汤都TM是唬人的。当然成王败寇的事也不好说。
从某种意义上来说，这是我第一次独自花了大量时间做的一次DM/ML比赛，去年跟着师兄后面打酱油，其实没做什么事，在kaggle上做了两次也只是下载了数据，随便跑了个模型了事。至于参加这次比赛的原因，第一个是因为在实验室两年看了些论文却没什么项目，有个比赛的话，面试时候还能说说，第二就是兴趣吧，之前也在Coursera上学过Ng的ML、台大的ML基石和技法课，想具体实践一下。
如题，结果很失败，复赛都没进。我不知道原因何在，但能猜出一些，这个最后再表。先说说这一个月我干了些啥。
数据刚刚放出来，我就下载了，主要的行为数据解压后有500M，读到内存里处理有点大（我们实验室有用openstack搭的云平台，不过由于资源紧张只给我虚拟了一个4G的ubuntu14.04=。=），于是用python写了一个数据生成器（yield），生成一个包含数据每个字段的字典。接下来就是统计数据的一些基本信息了，不过这部分没有深入做下去，不然我想我特征可能会好一点。接下来划分数据集，这时候的做法是将整个行为数据变成了三个文件（~1216线下训练，~1217线下测试/线上训练，~1218线上测试），然后在这三个数据集上提取特征，从负样本中采样，跑了m个LR模型，再做投票，草草交了（331）。
结果当然很渣，然后又在LR上弄了几天，当然主要时间花在提取特征上面，结果有提升，但是赶不上别人的速度啊- -，怎么办，想办法，改用了随机森林（RF），而且放弃了自己弄得那个负样本随机采样，再融合的方法，把所有数据放在一起训练，并调节参数class_weight（忘了说我用的ML包是python的scikit-learn），又加了几个特征，好的，线下能到6了。这个时候我已经弄了近100维的特征，不过我发现将这些特征全都用上结果很差（特征冗余、特征有干扰、模型变复杂特征空间变大，泛化变弱）于是尝试使用自动特征选择算法，sklearn提供了很多，什么基于统计、L1正则的线性模型、基于决策树，我都试了，结果嘛，呵呵哒。我不知道是不是我用的姿势不对，反正试过之后我就放弃了，开始手动选择特征，这个工作我花了两天（现在想想太蠢了），主要就是在不同特征（组）上试模型，最后我发现，原来只有几个特征是有用的，而且这些特征都和最后几天相关。在这段时间我犯过一些很蠢的错误，比如，有一天我在想怎么样预测未有过行为的UI对，我当时的想法是这样的：虽然UI对的交互特征没有，但是他们单独的特征是可以提出来的啊，于是我就在训练数据中混了训练label为1的ui对的信息- -。，当时并没有觉得什么不对，线下效果爆表，当天提交时还有点小激动= =。
换数据之前最后几天，我试过使用全集的行为信息（之前使用的交互特征都是子集的ui对），大约采样1/10，结果嘛，呵呵哒。我试过提取单天的特征做训练，然后发现单天线下都能做到7，当时感觉这段时间都白做了，但是线上并不好（由于只交了一次单天的，所以不知道是不是过拟），当时还有一个想法是用单天的特征可以训练出很多模型，在这些模型上做ensemble，并用这些单天的label做validation，但是这个想法没有做下去，感觉有点不靠谱。
换数据最后几天，我抛弃了原来特征表的大部分特征，从一个小的特征集合重新出发，我看到旺旺群里有人用规则线上做到了10，并且说了一些规则的思路，我将有些规则转化为了特征（比如用户是否喜欢加购物车就购买规则可以用购买/购物车表示），结果果然有提升，并在换数据最后一天，线上到了9.3。
换数据后，线下用~16的模型训练f1只能到5了，用~15的模型训练却能到6，当然这些都没换数据之前高，是不是18号的数据分布不一样了呢？我第一天交了一发是用~16和~17的两个模型做交集的结果，线上8.8，然后我就再也没超过这个分数T.T。第二天，我突然发现用基于树的特征选择+LR线下到能5.7，然而线上5都没到。。。，第三天调了些参数加了些特征，交了~17数据训练的模型的结果，没超过8.8，第四天交了~16数据训练的模型，没超过8，最后一天，这时候已经掉出榜单了，慌得要死，重新用自己抽样的方法，对正样本用SMOTE算法上采样，并对负样本按照比正样本15:1的比例下采样，跑100个RF模型，再做投票，最后结果也只有5.7，晚上没辙了，开始在结果集中尝试规则过滤，因为时间不够了，随便用一些规则过滤了一下ui。（这段时间最让我迷茫的是用不同的模型不同的训练集测试不同目标日的label表现各不相同。。。）
然而最后也没逆袭。
原因是什么呢？特征选取有问题、采样有问题，我真想不到到底是什么原因。
ps：以上过程记录没有任何指导价值，我只是想记录一下之一个月做了什么。
pps：开始的两句话虽然有气话的成分，但却一定程度说明了一些事实。BUT，你只能去努力，只能去做不是吗，已经选了这路，只要腿没断，就还得走下去不是吗，这才是他妈的人生。
网友评论