machine_learning.jpg
上一次我们已经将目标函数和约束条件基本都用数学形式表示出来，今天我们先看一看什么是对偶问题。然后开始通过一些列推导得到我们目标函数。
我们今天回顾一下求在约束条件下最优(最小)解，然后引入什么是对偶问题，先回顾一下在不等式约束条件下进行。是否还记得之前我们为介绍不等式约束条件下求取最优解时给出实例，我们现在再次拿出这个例子解释一下什么是对偶问题，以及如何将对偶问题应该到今天 SVM 的问题上。
image
image
虽然画的不好，但是我想通过这个图大家可以回忆出之前的问题，然后我们在不等式 x >= b 约束条件下求解 f(x) 最小值的问题。同图上我们可以清楚看出如果 b 在 b1 位置 f(x) 就是函数全局最小值 0 如果 b 在 b2 位置那么函数最小值就是在 x = b2 位置出现。
image
根据之前知识我们可以将带有约束条件问题写成拉格朗日乘子形式，其中 lambda 就是拉格朗日乘子。然后我们分别对 x 和 lambda 进行求导得出
image
根据之前我们知道 lambda 是大于等于 0 数，如果 lambda 取 0 那么函数最优解就是f(x)全局最优解而如果 lambda 不等 0 最优解就变成在 x-b =0 的约束条件下最优问题。
image
那么若果 2b 大于 0 我们就取 lambda = 2b 对应 x = b 而如果 2b 小于 0 我们就去 lambda = 0 时最优解。那么也就是变成对 lambda 最最大值和对 x 求最小值问题。
image
这里就是 lambda 最大和 x 最小的问题，我们可以将将求取他们顺序进行变换。
我现在返回去看一看有关 SVM 问题我们如何用拉格朗日乘子来表示，我们只到
image
然后根据我们学习到知识将这个带有 i 个约束条件函数写成下面样子来进行求解。
image
image
实际上现在求 wb 最小和求 alpha 最大的问题，那么我们如何将函数转换为一个对偶问题，现在我们是 w b 和 alpha 进行优化，而且一边求最大值一边还有求最小值。我们变成对偶形式是为了将所有 w b 用 alpha 代替来简化问题复杂。
image
image
我们对于 w 和 b 进行求导来找到 alpha 和 w b 的关系。这里 b 已经消失，而 w 可以用 alpha 来表示。我们将上面得到 alpha 的 w 表示带回到公式。
image
这里为区分我们把第二个 W 的角标用 j 代替 i 主要便于识别，这里转置符号 T 也暂时省略。
image
接下来我们将函数后半部分进行展开看一看是否一些可以消掉的像。
image
我们可以将下面这份内容进行合并
image
而且因为下面部分在求导数过程中，我们发现为 0 可以直接消掉来对函数进行化简
image
image
我们通过将求最大和求最小问题进行调换来得到下面式子。
image
wechat.jpeg
网友评论