1.损失函数：
损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化
2.Hinge损失函数(SVM)
= max {0,1-fy}
Hinge损失函数是1损失函数的一个代理损失函数，也是其紧上界，当 时，不对模型做惩罚。可以看到，hinge损失函数在
处不可导，因此不能用梯度下降法对其优化，只能用次梯度下降法。
3.Logistic损失函数
Logistic损失函数是1损失函数的另一个代理损失函数，它也是1损失函数的凸上界，且该函数处处光滑。但是该损失函数对所有样本点都惩罚，因此对异常值更加敏感。当预测值时，另一个常用的代理损失函数是交叉熵损失函数
4.Cross-Entropy损失函数
交叉熵损失函数也是1损失函数的光滑凸上界
5.Exponential损失函数(AdaBoost)
指数损失函数是AdaBoost里使用的损失函数，同样地，它对异常点较为敏感，鲁棒性不够
6.Logistic损失函数(LR)
逻辑回归的表达式如下：
各大损失函数总结： pytorch loss function 总结
1.损失函数： 损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化 2...
损失函数简要介绍 0-1损失 绝对值损失 log对数损失函数 平方损失函数 指数损失函数 Hinge损失函数 损失...
损失函数对于机器学习算法来说是至关重要的一环，大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失...
损失函数用来表示输出与实际值的差距。常用的损失函数为0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉...
1, 两个重要的函数：得分函数和损失函数损失函数： hinge损失，softmax 损失。hinge损失: max...
常用的损失函数 1.L1损失（绝对损失函数） 和 L2 损失（平方损失函数） L1范数损失函数，也被称为 最小绝对...
目标函数和损失函数的区别 损失函数：模型拟合的越好，损失应该越小； 目标函数：优化的目标，可以是“损失函数”或者“...
参考[1]损失函数 - 交叉熵损失函数
1 模型的函数表达式，如逻辑回归函数 2 定义损失函数，最小二乘损失，0/1损失，交叉熵。 3 目标函数，损失函数...
本文标题：损失函数总结
本文链接：https://www.haomeiwen.com/subject/myhlgrtx.html
网友评论