美文网首页
哲哲的ML笔记(二十五:SVM背后的数学知识)

哲哲的ML笔记(二十五:SVM背后的数学知识)

作者: 沿哲 | 来源:发表于2021-04-18 15:08 被阅读0次

    内积

    如果有两个向量u、v,如下图, 计算u^Tv,乘出来是一个数。借助坐标系,u^Tv的含义是vu向量上的投影p再乘u的长度
    注意:p有正负,沿u正方向投影则为正;沿u负方向投影则为负

    SVM

    回顾SVM的代价函数,如下公式。


    当前一项为0时,即\theta^Tx\geq1\theta^Tx\leq -1时,代价函数就化简成\min_{\theta} \sum_{j=1}^{n}\theta^2_j

    \theta^Tx,根据内积的思想,是x沿\theta方向的投影长度*\theta的长度
    若要\theta^Tx\geq1,当投影p的长度较大时,\theta的长度就可以尽量小,\sum_{j=1}^{n}\theta^2_j就可以小

    这是为什么支持向量机最终会找到大间距分类器的原因。因为它试图极大化这些投影p
    另外,当\theta_0=0时,代表分类边界需要经过原点

    相关文章

      网友评论

          本文标题:哲哲的ML笔记(二十五:SVM背后的数学知识)

          本文链接:https://www.haomeiwen.com/subject/dygmlltx.html