感知机 perceptron

参考书：《统计学习方法》李航

简介：

感知机是二类分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取 +1 和 -1 ，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

1. 数据线性可分：

给定一个数据集： 其中 ,如果存在某个超平面  能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即:

对所有的 , 对所有 

那么数据集称为线性可分，否则为线性不可分。

2. 损失函数：

损失函数的选择定义为：误分类点到超平面的总距离。首先写出输入空间中任一点到超平面的距离：，插入一条，点到平面的距离：

                                    

这个地方  是.

对于误分类的点来说：，例如，当  (函数值要经过sign 变换才转为 +1，-1)，但其真实标签是，真实值*预测值<0(异号)，所以前面乘一个 -1，之后，变为 大于0：

因此，误分类点到超平面的距离为：

于是所有误分类点到超平面的距离：，M为误分类点的集合

于是感知机的损失函数定义为：

显然损失函数是非负的，如果没有误分类点，损失函数值是0，而且误分类点越少，误分类点离超平面距离越近，损失函数值越小.

对损失函数的两个待训练参数分别求偏导：

随机选择一个误分类点 ，对 进行更新：是步长又称为学习率，

                            

                            

这样通过迭代使得损失函数不断减小，直到为0

下面是伪代码：

简单实现代码:

结果可视化图：

推荐阅读：感知机（Perceptron）-----最详细记录感知机_m0_37957160的博客-CSDN博客_感知机