美文网首页
L1正则化 vs L2正则化

L1正则化 vs L2正则化

作者: videoisfun | 来源:发表于2022-02-09 07:10 被阅读0次

    从公式来看
    L_0 = Num\_non\_zero\_params
    L_1 = |Coeff|
    L_2 = Coeff^2
    实际效果方面,
    L2正则会把权重减小x%,而L1则直接把权重减小k,同时L1在0的地方不连续,所以会把减的结果穿过0的都会变成0.例如,把一个weight从0.1见到-0.2,会直接把weight设置为0.
    所以L1正则化会把一些系数变为0,而L2正则化则是把系数变小,因此L1的模型会更小;

    相关文章

      网友评论

          本文标题:L1正则化 vs L2正则化

          本文链接:https://www.haomeiwen.com/subject/ahxwkrtx.html