美文网首页
机器学习笔记(2-3)--林轩田机器学习基石课程

机器学习笔记(2-3)--林轩田机器学习基石课程

作者: 数学系的计算机学生 | 来源:发表于2018-01-22 14:46 被阅读0次

Gurantee of PLA

这一小节,老师解决了我上一节中遗留的问题。

首先,只有当数据集data是线性可分的时候,才存在 f 超平面,将空间没有错误地划分成两块。所以,PLA才能输出一个可行解 g

其次,证明PLA可以在有限步输出 g 分为三部分:

  1. 证明w_f · w_{t+1} > w_f · w_{t} (其中w_f是最优解 f 对应的权向量):



    这一证明意味着,经过不断的修正,w_t 会变得越来越接近理想的 w_f。

  2. 证明 w_{t+1}^2 <= w_t^2 + max{x_n^2}:



    第二步证明表示,每一次的修正,w_t 长度的增长量都有限。

  3. 我们应用1,2中的结论,进行如下证明:


这一步说明,w_f和w_t的夹角的余弦值会随着时间 t 越来越大。又由于余弦值小于等于1,所以,w_t 必定会收敛。且收敛步数至多是:


至此,我们证明了当数据集是线性可分的时候,PLA可以在一定时间内返回一个完美的划分函数 g

相关文章

网友评论

      本文标题:机器学习笔记(2-3)--林轩田机器学习基石课程

      本文链接:https://www.haomeiwen.com/subject/twhlaxtx.html