《统计学习方法》极简笔记P2：感知机数学推导

作者: 统计学家 | 来源:发表于2019-08-18 14:49 被阅读0次

《统计学习方法》极简笔记P2：感知机数学推导
统计学习方法笔记(第二章个人笔记)
统计学习方法第二章：感知机(perceptron)算法及pyth
统计学习方法第三章：k近邻法(k-NN),kd树及python实
统计学习方法第五章：决策树(decision tree),CAR
统计学习方法第四章：朴素贝叶斯法(naive Bayes)，贝叶
统计学习方法第五章：决策树(decision tree),ID3
机器学习好网址
统计学习方法笔记之感知机
白话多项式拟合

感知机模型

输入空间是 $\chi\subseteq\mathbb{R}^n$ ,输出空间是 $y=\{+1,-1\}$
感知机定义为： $f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点 $x_0$ 到超平面S的距离：
$\frac{1}{||w||}|wx_0+b|$
误分类数据 $(x_i,y_i)$ ,有 $-y_i(wx_i+b)>0$
误分类点 $x_i$ 到超平面S的距离 $-\frac{1}{||w||}y_i(wx_i+b)$
误分类点集合M,所有误分类点到超平面S的距离
$-\frac{1}{||w||}\sum_{x_i\in{M}}y_i(wx_i+b)$
由此，感知机损失函数定义为
$L(w,b)=-\sum_{x_i\in{M}}y_i(wx_i+b)$

感知机学习算法（原始形式）

输入：训练数据集
$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$
$x_i\in\chi\subseteq\mathbb{R}^n$ , $y_i\in{y}=\{+1,-1\}$ ,学习率 $\eta$
输出：w,b;感知机模型 $f(x)=sign(wx+b)$
(1)选取初值 $w_0$ , $b_0$
(2)训练集选取 $(x_i,y_i)$
(3)IF $y_i(wx_i+b)≤0$
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足
$k≤(\frac{R}{\gamma})^2$

感知机学习算法（对偶形式）

由原始形式
$w←w+\eta{y_ix_i}$
$b←b+\eta{y_i}$
进行n次,w,b关于 $(x_i,y_i)$ 增量分别为 $a_iy_ix_i$ 和 $a_iy_i$
记 $a_i=n_i\eta$ ,最后学习到的w,b表示为
$w=\sum_{i=1}^{N}a_iy_ix_i$
$b=\sum_{i=1}^{N}a_iy_i$
输入：训练数据集
$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$
$x_i\in\chi\subseteq\mathbb{R}^n$ , $y_i\in{y}=\{+1,-1\}$ ,学习率 $\eta$
输出：a,b;感知机模型 $f(x)=sign(\sum_{j=1}^{N}a_jy_jx_j·x+b)$
其中 $a=(a_1,a_2,...,a_N)^T$
(1) $a←0$ ; $b←0$
(2)训练集选取 $(x_i,y_i)$
(3)IF $y_i(\sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$
$a_i←a_i+\eta$
$b←b+\eta{y_i}$
(4)转至(2),直到没有误分类点。
记Gram矩阵 $G=[x_i·x_j]_{N×N}$

《统计学习方法》极简笔记P2：感知机数学推导
感知机模型输入空间是,输出空间是感知机定义为：感知机学习策略输入空间任一点到超平面S的距离：误分类数据,有误...
统计学习方法笔记(第二章个人笔记)
统计学习方法笔记(第二章个人笔记) 标签：机器学习深度学习感知机（P25）感知机是神经网络与支持向量机的基础...
统计学习方法第二章：感知机(perceptron)算法及pyth
统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),...
统计学习方法第三章：k近邻法(k-NN),kd树及python实
统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),...
统计学习方法第五章：决策树(decision tree),CAR
统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),...
统计学习方法第四章：朴素贝叶斯法(naive Bayes)，贝叶
统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),...
统计学习方法第五章：决策树(decision tree),ID3
统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),...
机器学习好网址
统计学习方法代码实现最小二乘法感知机最小二乘法
统计学习方法笔记之感知机
更多文章可以访问我的博客Aengus | Blog 定义假设输入空间是，输出空间是，由输入空间到输出空间的如下函...
白话多项式拟合
数学推导过程参考于: 李航《统计学习方法》多项式函数拟合问题V2 https://blog.csdn.net/x...