常见损失函数总结

作者: 数据小新手 | 来源:发表于2018-11-13 16:34 被阅读0次

损失函数对于机器学习算法来说是至关重要的一环，大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失函数达到最小值。

回归损失函数：

回归的损失函数比较少，常见的有MSE,MAE,RMSE,也比较好理解，就是预测值和真实值直接的差距最小。
$MSE = \frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2$
$RMSE = \sqrt{\frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2}$
$MAE = \frac{1}{n} \sum_{i=1} ^{n} |\tilde{Y_i} - Y_i |$

分类损失函数：

分类损失函数的种类比较多，常见的分类算法，logistic regression, SVM, adaboost

log损失函数（逻辑回归）：

对数损失函数的标准形式为：
$L(Y,P(Y|X)) = -\log P(Y|X)$
在二分类的情况下，可以简化为：
　 $L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left [ y^{(i)} \log h_{\theta}(x^{(i)}) + (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)})) \right ]$

指数损失函数（adaboost）：

$L(y,f(x)) = exp(-yf(x))$

hinge损失函数（SVM)

$L(y) = \max(0, 1-y\tilde{y}), y=\pm 1$

网友评论

本文标题：常见损失函数总结

本文链接：https://www.haomeiwen.com/subject/ffslfqtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！