美文网首页
(八)神经网络之感知机

(八)神经网络之感知机

作者: 躺在稻田里的小白菜 | 来源:发表于2018-07-24 16:26 被阅读0次

一. 什么是感知机

1. 理解感知机

感知机(Perceptron)算法是一种很好的二分类算法,它前提要求样本是线性可分的模型。感知机的原理很简单,假如样本中有2个类别,感知机尝试找到一条直线(空间中就是超平面),将样本划分成2类。如果找不到这样的直线(超平面)呢?那就说明样本线性不可分,不可以使用感知机分类。

2. 感知机与神经网络

感知机是一种最简单的前馈神经网络,它仅有2层神经元,包括1个输入层和一个输出层。


既然感知机是前馈网络,那它的学习过程也是遵循向前传播算法的。神经元将输入和偏执单元线性组合,然后代入激活函数,最后得到输出结果。
这里感知机的激活函数选取的是阈值函数,所以感知机的输出神经元也称为阈值神经元(M-P神经元):
3. 感知机与逻辑回归

1.相同点:

  • 都是解决二分类问题
  • 都是将线性模型代入一个函数中。(线性逻辑回归是代入线性模型)

2.不同点:

  • 激活函数不同,逻辑回归是sigmoid,感知机是阈值函数
  • 感知机产生的结果是类别(0/1),逻辑回归得到的是某个类别的概率
  • 感知机只能处理线性可分问题,逻辑回归可以处理非线性问题(代入非线性模型)

二. 感知机学习过程

1.代价函数

上面我们已经基本了解了感知机的概念与使用前提。那么感知机是如何找到最优解的呢?按照机器学习的惯例,我们要开始构造代价函数了。我们可以考虑让误分类的点到超平面的距离来表示代价函数,若所有误分类的点到超平面距离最小,则代价最小。
我们假设输入的线性组合是

那么某点Xi到超平面的距离就是 如果样本标记是y,那么利用y去掉绝对值(因为结果只能是0/1) 因为我们只想知道L最小时的参数,而并不是要求最小距离和,所以我们可以忽略分母,得到代价函数
得到代价函数后,我们可以使用梯度下降法,不断更新θ,直到L收敛。
对L求导
这里需要注意一下,因为此处是针对误分集的样本做代价函数,而并不是所有的样本,所以不可以采用批量梯度下降(BSD),感知机一般采用随机梯度下降法,即只选用一个误分集中的样本更新参数。
2. 总结一下感知机
  1. 选定一组合适的权值θ

  2. 将样本带入感知机,观察是否有误分点,如果没有结束算法,如果有进入第3步

  3. 利用误分点更新所有参数


  4. 转入第2步,直到没有误分点。

相关文章

  • 神经网络概述

    感知机 最小的神经网络结构,无论多复杂的神经网络都由许多感知机构成。 感知机结构:输入层、输出层感知机 感知机是一...

  • 1、深度学习入门-感知机

    感知机是什么? 感知机 (perceptron):感知机是神经网络(深度学习)的起源算法,学习感知机的构造是通向神...

  • 神经网络入门

    1.神经网络前传——感知机 感知机作为神经网络的起源,由Frank Rosenblatt(美国)在1957 年提出...

  • 深度学习入门(1)感知机

    感知机 感知机基础知识 感知机是神经网络(深度学习)的起源算法。 感知机可以接收多个输入信息,输出一个信号。 感知...

  • 一文理清深度学习前馈神经网络

    ? Index 多层感知机(MLP)介绍 深度神经网络的激活函数 深度神经网络的损失函数 多层感知机的反向传播算法...

  • 初识神经网络一

    由感知机到神经网络 感知机是经由加权信号与偏置的和决定输出信号;神经网络在感知机的基础上加了一个激活函数,即 加权...

  • TensorFlow实现多层感知机

    多层感知机 算法简介: 多层感知机是基于反向人工神经网络(feedforwardartificial neural...

  • 神经网络

    感知机和神经网络 感知机 我们对照感知机的公式 可以发现,从输入层到输出层,其实就是感知机的函数模型,当然了,这个...

  • 鱼书学习笔记二神经网络(neural network)

    神经网络 上一章学习了感知机,神经网络与多层感知机有着相似的结构,但是感知机设定权重的工作,还是由人工进行的,而神...

  • 深度学习入门---多层感知机,过拟合和欠拟合,梯度消失和梯度爆炸

    1.多层感知机 多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Arti...

网友评论

      本文标题:(八)神经网络之感知机

      本文链接:https://www.haomeiwen.com/subject/updemftx.html