正则化

作者: 王金松 | 来源:发表于2018-11-17 18:34 被阅读0次

完整的目标函数 Obj(\theta ) = L(\theta ) +a\Omega(\theta )

损失项让误差尽量小

正则项让模型更简单,提高泛化能力,防止过拟合

l1, l2, l3,范数越大,模型更复杂,为了减少过拟合,使用L2在减少过拟合的情况下保证准确率

L0范数:所有参数w中非0元素的个数

L1范数:所有参数的绝对值之和(|w|)

L2范数:所有参数的平方的加和(w^2)

相关文章

网友评论

      本文标题:正则化

      本文链接:https://www.haomeiwen.com/subject/vajifqtx.html