上节课学到：
将求解超平面的问题转化为如下问题
图片.png
引入
拉格朗日乘子法
(求解有约束条件下的最优化问题的算法)
拉格朗日函数
拉格朗日函数
由于：
图片.png
所以：
图片.png
因此，原问题为极小极大问题：
图片.png
原问题的对偶问题，是极大极小问题：
图片.png
由于约束条件是线性的，而目标函数是凸函数（二次），所以对偶问题的解就是原问题的解，这个在凸优化部分有证明，这里先留下疑问~
现在求解以上问题，首先确定大致思路如下：
- 先求最小问题，L(w, b, a)，分别对w和b求偏导，并令偏导等于0，得到一个w = balabala 和一个 b = balabala 的式子
- 将该式子代回 L(w, b, a)，会将w和b消掉（一定会？），这样就得到一个关于a的式子——L(a)
- 对L(a)求关于a的导数，就可以得到解
求解步骤
- 将拉格朗日函数 L(w, b, a) 分别对w和b求偏导，并令偏导等于0：
图片.png
图片.png
- 代入w和b，计算拉格朗日的对偶函数
网友评论