LightGBM学习

作者: No_limit | 来源:发表于2017-11-14 11:37 被阅读1286次

    视频连接:https://v.qq.com/x/page/k0362z6lqix.html

    基本操作:http://blog.csdn.net/qq_22238533/article/details/72927755

    调参:

    分割数据集:http://blog.csdn.net/kancy110/article/details/74838102


    优点:

    直方图方法将连续的特征值离散化成一个个bin,提升了效率,节省了空间

    带限制的leaf-wise的生长策略,相较于level-wise,leaf-wise在叶子数量一样时,能降低误差,得到更好地精度,加上限制防止生成深树而在小数据集上造成过拟合。

    直接输入类别值,不用one-hot encoding

    直方图  带限制的叶子生长策略 支持类别值输入

    比较1决策树的学习方法:leaf-wise每次选择收益最大的分裂,快速有效地学习,但过程是顺序的,影响加速;evel-wise可并行,但是有不必要的分裂,造成浪费。

    两种方法比较

    比较2XGBoost方法:presort排序对每个特征值进行计算,可以找到精确分割点,但是消耗大可能过拟合。level-wise时间节省,并行,但会有浪费,没有必要的计算。

    预排序和层生长策略

    LightGBM的几个特点:

    1.将XGB的最大深度调整为叶子数

    对应关系

    2.提高效率的几个方式:

    主要特性

    3.如何使用LGB?

    可用的方式 如何处理过拟合

    相关文章

      网友评论

        本文标题:LightGBM学习

        本文链接:https://www.haomeiwen.com/subject/rvvxvxtx.html