Xgboost防止过拟合的参数整理

eta

image.png

learning_rate， 相当于学习率

gamma

image.png image.png

xgboost的优化式子里的gamma，起到预剪枝的作用。

max_depth

image.png

树的深度，越深越容易过拟合

min_child_weight

image.png

新分裂出来的一个叶子节点，只有当叶子节点上hession矩阵的和大于这个值时才会分裂，也起到了预剪枝的作用。

image.png

按描述来看应该是图中的H之和，具体需要结合代码求证。

subsample

image.png

训练时，对训练数据进行采样，来自随机森林的做法。

colsample_bytree, colsample_bylevel, colsample_bynode

image.png

每颗树/每层/每个节点分裂时，是否对特征进行采样，同样来自随机森林的做法。

lambda

image.png

L2正则

alpha

image.png

L1正则

参考

https://xgboost.readthedocs.io/en/latest/parameter.html