回归问题常用：均值平方差损失函数（MSE）；交叉熵问题常用交叉熵损失函数（CE）。
那为啥？
1.从原理上来讲，CE就是分类问题的极大似然估计，并不适用于连续变量的回归问题。
2.对于分类问题，若采用逻辑回归算法，MSE一般是非凸函数，不能取得全局最优解，且MSE容易发生梯度消失；而CE是凸函数，能取得全局最优解。所以分类问题一般用CE。
MSE
CE
回归问题常用：均值平方差损失函数（MSE）；交叉熵问题常用交叉熵损失函数（CE）。
那为啥？
1.从原理上来讲，CE就是分类问题的极大似然估计，并不适用于连续变量的回归问题。
2.对于分类问题，若采用逻辑回归算法，MSE一般是非凸函数，不能取得全局最优解，且MSE容易发生梯度消失；而CE是凸函数，能取得全局最优解。所以分类问题一般用CE。
MSE
CE
本文标题：损失函数的选择
本文链接：https://www.haomeiwen.com/subject/ktgvqctx.html
网友评论