此文主要用于个人备忘
kaggle 目前是散兵游勇使用真实数据进行机器学习实践的最佳场所，拥有真实的数据和大量有经验的参赛者，以及良好的讨论共享氛围。
基于树的 boosting/ensemble 方法在实战中取得良好效果，陈天奇提供的高质量的算法实现 xgboost 也使得构建基于该方法的解决方案更加容易高效，很多比赛的获胜方案都使用了 xgboost 。
本文记录一个从零开始到最终用 xgboost 给出一个完整模型的全部(简略但是完整)过程，如果你对机器学习有一些基本概念的了解，但是没有在真实数据上实战过，那么本文可能正对你需求，: )。
实战，Homesite Competition
不闻不若闻之，闻之不若见之；见之不若知之，知之不若行之；学至于行而止矣
-- 荀子
那我们开始一个具体的比赛，Homesite Competition ，这个比赛是保险公司根据以往的用户信息和保险报价，以及最后是否购买了保险这些数据，希望最后得到一个分类模型，根据用户信息和报价，预测该用户是否会购买该单保险。
有很多参赛者会放出自己的代码供大家参考讨论(在 kaggle 中这样一份供大家共享讨论的代码称为一个 kernel)。我们从一个简略但是效果还不错的基于 xgboost 的代码开始。
将 Homesite Competition 所需的数据和前面提到的 kernel 代码下载下来后，各文件的结构大致如下:
所需文件
如果你已经装好了 numpy, scikit-learn, pandas, xgboost 等需要的包，那么进入 src 文件夹运行代码就可以产出一份结果了。
代码详解
一行一行详细的介绍就太啰嗦了，挑一些重要的部分写上注释：
读入数据
首先是导入需要的包，然后读取数据，查看一下数据大概长什么样子:
读入数据
去掉无意义的feature
QuoteNumber 只是用来标识每单生意的一个属性，没有任何物理含义，可以放心地从 feature 中去掉，不用担心影响训练出的模型效果：
去掉一列没有用的属性
转换feature到更有物理含义的格式
发现数据中的日期只是 str, 我们需要将它转为 datetime :
检查日期属性
转换日期为datetime
如果我们将 datetime 转为年月日，则为物理含义更好的 feature:
将 datetime 转为年月日
然后就可以把 datetime 一列去掉了:
去掉 datetime 列
检查缺失值
其实这一步应该更早一点做，不过就本文中涉及的数据倒没太大影响。
发现数据中确实有缺失值，
检查是否有缺失值
看看这些缺失的数据大致在哪儿，长什么样:
看看缺失值在哪儿
虽然 xgboost 内置了对缺失值的处理，但是更合理的处理方式总是需要具体数据具体分析的，可以看 Detailed Data Cleaning/Visualization 这个kernel里是怎么对缺失值做处理的。
这里先简单处理一下，把所有缺失值填上一个不太可能出现的取值:
简单填充缺失值，这里当然可以做更细致的处理，如对数值类型的数据填上众数，但在这个任务里影响不大
对类别性质的feature做LabelEncode
现实数据中很多特征并不是数值类型，而是类别类型，比如红色/蓝色/白色之类，虽然决策树天然擅长处理类别类型的特征，但是还是需要我们把原始的字符串值转为类别编号。
发现train和test中的feature并不一致，train中的QuoteConversion_Flag属性在test中没有(这里的QuoteConversion_Flag是表示这一单生意最后是否做成，test_set里当然不应该有这一属性，不然让你预测个啥)，
trainset 和 testset 的属性展示
而其他的属性都是一样的:
差别只限于 QuoteConverion_Flag
对非数值类型的特征做 LabelEncode:
LabelEncode
做完之后字符串转为类别编号：
attributes after LabelEncoding
使用 CV (cross validation) 做 xgb 分类器模型的调参
使用 CV 来调超参，当然参数空间是自己选的:
cv 调参，StratifiedKFold 会保留每个 fold 中正负样本的比例与样本全集中的该比例一致
导出最后的结果:
输出 best model
当然你也可以看看各参数下的模型的表现是怎样的:
各超参下的模型结果对比
到这里，基本上就完成了该次虽然简略，但也大体完整的数据分析实战了。
网友评论