感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负二类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。下面分裂以机器学习方法的三要素：模型、策略、算法来简要介绍。
感知机模型
假设输入空间是X，输出空间是Y={+1，-1}，由输入空间到输出空间的如下函数：f(x)=sign(w*x+b)称为感知机，其中，w和b为感知机模型参数，sign是符号函数，即sign(x)=+1,x>=0,sign(x)=-1,x<0。感知机是一种线性分类模型，感知机模型的假设空间是定义在特征空间中是所有线性分类模型或线性分类器。感知机预测通过学习得到的感知机模型，对新的输入实例给出其对应的输出类别。
数据集的线性可分性
给定一个数据集，如果存在某个超平面S，w*x+b=0能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，则称数据集T为线性可分数据集，否则，则称数据集T线性不可分。
感知机的学习策略
其中M为误分类点的集合，这个损失函数就是感知机学习的经验风险函数。显然，损失函数是非负的，如果没有误分类点，损失函数值是0.而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。一个特定的样本点的损失函数在误分类时是参数w，b的线性函数，在正确分类时是0.因此，给定训练数据集T，损失函数是w，b的连续可导函数。
感知机的学习算法
网友评论