[机器学习入门] 李宏毅机器学习笔记-26（Structured Support Vector Machine part1 ;结构化支持向量机part 1）

PDF	VIDEO

---

首先回顾一下Structured Learning要解决什么问题？

这里写图片描述

Example Task Object Detection:

这里写图片描述

We must solve the three problems:

这里写图片描述 这里写图片描述 这里写图片描述

那么现在让我们假设前两个问题都解决了，只专注于第三个问题。

---

Outline

这里写图片描述

Assumption Separable

存在一个vector，使inner product后的点满足公式要求。

这里写图片描述

那么我们可以通过以下方法来的到这个vector，当w不更新时，就找到了它。

这里写图片描述

那么这种更新参数的方式可行吗？答案是可行的，首先我们先亮出结论：

这里写图片描述

Warning of math，简短证明以上结论：

这里写图片描述 这里写图片描述 这里写图片描述 这里写图片描述 这里写图片描述

End of math.

How to make training fast？

这里写图片描述

---

Non-separable Cace

假设说，找不到任何一个正确的答案能高过其他错误的，但即使这样也有高下之分，很明显左边是要好于右边的。

这里写图片描述

Defining Cost Function

这里写图片描述

那么可以 用 gradent decent 来minimize C

这里写图片描述

下图，当w 不同时，y是不同的，那么怎样固定住y呢？我们发现，max能在w构成的space 中，将y划分为几个区域，每个区域存在固定的y’，y‘’，y'''等。

这里写图片描述

而此时黄色公式即很容易表达了，所以每一个区域的gradent对w的微分都可以求出来，这个能求出来，就可以用gradent decent了。

这里写图片描述

---

Considering Errors

那么下面我们要将上述的cost概念进化一下，上面我们是对错误的答案一视同仁的，即只有对错，但是实际上它们却差别很大，有的错误是跟正确答案很接近的，所以我们要将错误分出等级。

这里写图片描述

如何进化我们的Cost Function呢？

这里写图片描述

怎样去量化差距呢？运用了面积、交集思想。

这里写图片描述

核心精神就是，夸大它们的差距，好就更高，错就更错。

这里写图片描述

那么我们如何用gradent decent 来update呢？与上篇的方法差不多。

这里写图片描述

那么刚刚的cost function 有另外一个观点可以来解释它。

这里写图片描述

为什么这个是正确的？

这里写图片描述

More Cost Functions，core spirit 核心精神是一样的。

这里写图片描述