美文网首页
李航统计学习--第二章 感知机perception

李航统计学习--第二章 感知机perception

作者: HELLOTREE1 | 来源:发表于2018-09-06 11:16 被阅读0次

二类分类(+1,-1)的线性分类模型,判别模型。

求出将训练数据进行线性划分的分离超平面,导入基于误分类的损失函数,用梯度下降法对损失函数进行极小化,求得感知机模型

梯度下降法 梯度下降法的迭代公式

2.1感知机模型

2.2感知机学习策略

2.2.1数据集线性可分

2.2.2感知机学习策略

为了确定这样一个超平面(将+1、-1分离开),即确定合适的w、b,就要定义经验损失函数并将其最小化。

如何定义损失函数呢?1误分类的点数,但是这样损失函数不是w\b的连续可导函数,不易优化;2误分类点到超平面的总距离

2.3感知机学习算法

求解损失函数最优化问题,最优的方法是随机梯度下降法

2.3.1原始形式

,解不唯一,采取不同的初值,迭代过程中不同的误分类点顺序,解不同

实例:

步骤1:构建最优化问题:

步骤2:求解w、b 步长=1。一次次迭代直到所有被准确分类

2.3.2 算法的收敛性

2.3.3 感知机学习算法的对偶形式

实例

2.4 代码

2.4.2 感知机对偶算法

相关文章

  • 李航统计学习--第二章 感知机perception

    二类分类(+1,-1)的线性分类模型,判别模型。 求出将训练数据进行线性划分的分离超平面,导入基于误分类的损失函数...

  • 统计学--感知机

    参考李航的统计学习 感知机学习算法 Python实现感知机代码 Python代码实现对偶形式

  • 感知机理论与实践代码

    本文主要参考李航老师的《统计学习方法》第二章感知机 感知机(perceptron)是一个二分类的线性分类模型,输入...

  • 感知机

    本文主要参考李航《统计学习方法》第二章感知机。 感知机(perceptron)是一个二分类的线性分类模型,输入为实...

  • 《统计学习方法》文章汇总

    记录重看李航《统计学习方法》的总结和复现。2020的flag就是总结完这一系列嘤嘤嘤嘤第二章 感知机学习算法htt...

  • 机器学习感知机(统计学习-李航)

    感知机 概述 感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机学...

  • 统计学习方法 李航 感知机模型 python s

    李航感知机(perception)是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1....

  • 感知机的总结及Python实现

    重读李航博士的《统计学方法》对感知机做个总结包括感知机原始形式和对偶对偶形式的原理和Python实现。 Pytho...

  • 统计学习方法笔记(第二章个人笔记)

    统计学习方法笔记(第二章个人笔记) 标签: 机器学习深度学习 感知机(P25) 感知机是神经网络与支持向量机的基础...

  • 《统计学习方法》之感知机模型

    最近在重新看李航的统计学习方法,总结下每章的内容,并使用python复现。 基本概念 感知机定义 : 输入空间,输...

网友评论

      本文标题:李航统计学习--第二章 感知机perception

      本文链接:https://www.haomeiwen.com/subject/qmdkeftx.html