哲哲的ML笔记（二十五：SVM背后的数学知识）

作者: 沿哲 | 来源:发表于2021-04-18 15:08 被阅读0次

哲哲的ML笔记（二十五：SVM背后的数学知识）
哲哲的ML笔记（二十四：支持向量机SVM）
哲哲的ML笔记（二十六：SVM之核函数）
哲哲的ML笔记（二：模型）
哲哲的ML笔记（四：矩阵）
哲哲的ML笔记（三：梯度下降）
哲哲的ML笔记（七：学习率）
哲哲的ML笔记（九：正规方程）
哲哲的ML笔记（十八：反向传播）
哲哲的ML笔记（十一：决策边界）

内积

如果有两个向量 $u、v$ ,如下图, 计算 $u^Tv$ ，乘出来是一个数。借助坐标系， $u^Tv$ 的含义是 $v$ 在 $u$ 向量上的投影 $p$ 再乘 $u$ 的长度
注意： $p$ 有正负，沿 $u$ 正方向投影则为正；沿 $u$ 负方向投影则为负

SVM

回顾SVM的代价函数，如下公式。

当前一项为0时，即

\theta^Tx\geq1

和

\theta^Tx\leq -1

时，代价函数就化简成

\min_{\theta} \sum_{j=1}^{n}\theta^2_j

\theta^Tx

,根据内积的思想，是

x

沿

\theta

方向的投影长度*

\theta

的长度
若要

\theta^Tx\geq1

，当投影

p

的长度较大时，

\theta

的长度就可以尽量小，

\sum_{j=1}^{n}\theta^2_j

就可以小

这是为什么支持向量机最终会找到大间距分类器的原因。因为它试图极大化这些投影 $p$
另外，当 $\theta_0=0$ 时，代表分类边界需要经过原点

哲哲的ML笔记（二十五：SVM背后的数学知识）
内积如果有两个向量,如下图, 计算，乘出来是一个数。借助坐标系，的含义是在向量上的投影再乘的长度注意：有正负，沿...
哲哲的ML笔记（二十四：支持向量机SVM）
从逻辑回归到SVM 与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清...
哲哲的ML笔记（二十六：SVM之核函数）
什么是核函数分类问题中，可以使用高级数的多项式模型来解决无法用直线进行分隔的分类问题假设上图的假设函数是除了...
哲哲的ML笔记（二：模型）
1. 参数设定：训练实例数：输入变量/特征：预测的目标变量：一个训练样本：第 i 个训练样本：hypothesi...
哲哲的ML笔记（四：矩阵）
此处简略了很多内容，实际课程中讲得很细、很基础矩阵乘法性质 1.不满足交换律：满足结合律：转置、逆没有逆矩...
哲哲的ML笔记（三：梯度下降）
1. 前提回顾已知：代价函数，希望找到对应的参数使得最小思路：令从任意值开始（一般设置为=0）；每次微小改变直到...
哲哲的ML笔记（七：学习率）
代价函数-迭代次数梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和...
哲哲的ML笔记（九：正规方程）
到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案正规方程是通过求解 ...
哲哲的ML笔记（十八：反向传播）
正向传播在之前介绍的通过神经网络预测结果，我们使用的其实是一种正向传播方法，从第一层开始正向一层一层进行计算，直...
哲哲的ML笔记（十一：决策边界）
决策边界根据函数表达式和图像，可以得到则假设有这样一个模型并且参数是向量[-3 1 1]。则当，即 ...