第八课顺序最小优化算法

作者: yz_wang | 来源:发表于2016-12-12 19:27 被阅读0次

第八课顺序最小优化算法
爬山算法
SVM（支持向量机）笔记-SMO算法、核函数，代码实现
二分查找
12 SVM - SMO - 初始β变量的选择、总结
深度学习之——优化器
2021-03-24掌握回归模型的评估及超参数调优
《啊哈算法》笔记(二)
算法面试重要问题记录
机器学习算法

笔记：http://blog.csdn.net/Andrewseu/article/details/48443633
参考：https://zhuanlan.zhihu.com/p/21932911

要点：

1. 对于线性不可分或个别异常点SVM提出的优化方案

软边界
核函数。基本思想是：将原本的低维特征空间映射到一个更高维的特征空间，从而使得数据集线性可分。
</br>
映射到高维
上图所用的核函数
常用核函数：

核函数怎么应用？

原始优化模型通过拉格朗日对偶

注意到公式红色部分，表示两个xi和xj做内积，要应用核函数，我们只需要将这个部分替换为对应的核函数即可：

</br></br>

2. 顺序最小优化算法SMO sequential minimal optimization

SMO算法就是为了高效计算上述优化模型而提出的。其是由坐标上升算法衍生而来。
所谓坐标上升算法，就是指：对于含有多个变量的优化问题：每次只调整一个变量，而保证其他变量不变，来对模型进行优化，直到收敛。
SMO的思想类似，由于约束条件

$\sum_{i=1}^{m}{\alpha _iy^{(i)}}$ \sum_{i=1}^{m}{\alpha _iy^{(i)}} 的存在，如果按照坐标上升算法，每次只修改一个a的值，是不可行的（因为a的值完全取决于剩下a的m-1个值）。所以每次至少改变一对a的值。

3. SVM应用实例

参考https://zhuanlan.zhihu.com/p/21932911

网友评论

本文标题：第八课顺序最小优化算法

本文链接：https://www.haomeiwen.com/subject/ziypmttx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

第八课顺序最小优化算法

要点：

1. 对于线性不可分或个别异常点SVM提出的优化方案

2. 顺序最小优化算法SMO sequential minimal optimization

3. SVM应用实例

相关文章

第八课顺序最小优化算法

爬山算法

SVM（支持向量机）笔记-SMO算法、核函数，代码实现

二分查找

12 SVM - SMO - 初始β变量的选择、总结

深度学习之——优化器

2021-03-24掌握回归模型的评估及超参数调优

《啊哈算法》笔记(二)

算法面试重要问题记录

机器学习算法

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

第八课 顺序最小优化算法

要点：

1. 对于线性不可分或个别异常点SVM提出的优化方案

2. 顺序最小优化算法SMO sequential minimal optimization

3. SVM应用实例

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

第八课顺序最小优化算法