SVM系列第十一讲--损失函数

作者: 文哥的学习日记 | 来源:发表于2017-07-21 13:47 被阅读246次

我们的SVM算法在前面的十讲中已经基本介绍完毕了,现在还剩下两个小问题,一个是SVM的损失函数问题,一个是求解α的SMO算法。这一讲我们先来介绍一下SVM的损失函数。

1、Hinge损失函数

首先我们来看什么是合页损失函数(hinge loss function):


hinge loss function

下标”+”表示以下取正值的函数,我们用z表示中括号中的部分:



也就是说,数据点如果被正确分类,损失为0,如果没有被正确分类,损失为z。
合页损失函数如下图所示:

2、SVM损失函数

SVM的损失函数就是合页损失函数加上正则化项:


损失函数

相关文章

  • SVM系列第十一讲--损失函数

    我们的SVM算法在前面的十讲中已经基本介绍完毕了,现在还剩下两个小问题,一个是SVM的损失函数问题,一个是求解α的...

  • 绘制常见损失函数

    练习:绘制常见损失函数 损失函数:Logistics损失(-1,1) SVM Hinge损失 0/1损失 首先我...

  • 损失函数和优化-损失函数(2)

    引言 这一节的笔记,主要讲解除了SVM以外的另一种损失函数——softmax损失函数。 softmax损失函数 如...

  • SVM、Softmax 损失函数

    损失函数也成代价函数,衡量对结果的不满意程度。目标函数一般包括损失函数加上正则化,也就是最优化算法的目标。 一、多...

  • 超详细白板推导:从模型和优化 2 个角度详解 SVM 核函数

    在 SVM 白板推导| 由最大间隔化目标演化的损失函数推导过程 中白板手推了 SVM 的原理,并介绍了硬间隔核函数...

  • 损失函数

    线性分类器简介 线性评分函数 阐明线性分类器 损失函数多分类SVMsoftmax分类器SVM和softmax的比较...

  • (16)监督学习-分类问题-SVM

    SVM又称为支持向量机。通过求解最大分类间隔(大间距分类器)实现分类、其损失函数为合页损失(均方误差加松弛变量...

  • [CS231n]Lecture 3:Loss Functions

    损失函数、SVM、Softmax、优化 首先我们已经定义了一个线性分类器,f = Wx+b,如何寻找最优的W、b是...

  • SVM系列十三讲--支持向量回归机SVR

    这样我们可以得到一个带正则项的损失函数: 可以看到,这个误差函数中后面一部分与SVM中的目标函数类似,我们再将二次...

  • 机器学习:常见的损失函数

    损失函数简要介绍 0-1损失 绝对值损失 log对数损失函数 平方损失函数 指数损失函数 Hinge损失函数 损失...

网友评论

  • e45a7ebee35d:你好,有点不太明白,。就是从形式上看SVM的代价损失函数和利用最大间隔距离求解时列出的拉格朗日乘子式很像,那么这个损失函数又是怎么来的呢。我在看吴恩达的视频中他说是从逻辑回归的损失函数就是似然代价函数推导的 ,而且给出的形式跟你给的也不太一样,这到底怎么回事,想问下,麻烦~

本文标题:SVM系列第十一讲--损失函数

本文链接:https://www.haomeiwen.com/subject/nnfekxtx.html