美文网首页
其他神经网络类型

其他神经网络类型

作者: 程序猿爱打DOTA | 来源:发表于2017-05-27 12:55 被阅读0次

RBF径向基网络:

是一种单隐层前馈神经网络,使用径向基函数作为激活函数,输出层是对隐层神经元输出的线性组合

Park证明,具有足够多隐层神经元的RBF网络能以任意精度逼近连续函数

通常采用两步过程训练RBF网络,

1.确定神经元中心Ci,常用的方式包括随机采样、聚类等

2.利用BP算法来确定参数


ART自适应协振网络:

竞争型网络的代表。该网络的输出层神经元互相竞争,每一时刻仅有一个竞争获胜的神经元被激活,“胜者同吃”。

由比较层,识别层,识别阈值和重置模块构成。

其中,比较层负责接收输入样本,并传给识别层,识别层神经云互相竞争(最简单的竞争方式即计算输入向量与每个识别层神经元所对应的模式类的代表向量之间的距离),获胜者向其他神经元发送抑制信号。若向量距离小于识别阈值,则将输入样本归类为获胜神经元类别,同时,网络连接权将会更新,使得以后在接收到相似输入样本时该模式类会计算出更大的相似度;若向量距离大于识别阈值,则重置模块将在识别层增设一个新神经元。

识别阈值对ART网络的性能有重要影响。

ART网络比较好的缓解了竞争型学习中的“可塑性-稳定性窘迫”,可塑性是指神经网络要有学习新知识的能力,而稳定性则是指神经网络在学习新知识时要保持对旧知识的记忆。这使得ART网络有一个重要的优点:可进行增量学习或在线学习


SOM网络

是一种竞争型无监督神经网络,将高维输入数据映射到低维空间,并保持输入数据的拓扑结构。即将高维空间中的相似的样本点映射到网络输出层中的邻近神经元。

获胜神经元决定了该输入向量在低维空间的位置,SOM的训练目标就是为每个输出层神经元找到合适的权向量,以达到保持拓扑结构的目的。

训练过程:接收样本,计算与自身携带的权向量之间的距离,距离最近的神经元成为最佳匹配单元,然后调整最佳匹配单位及其附近神经元的权向量,不断迭代,直至收敛。


级联相关网络

一种结构自适应网络,随着训练的进行,新的隐层神经元不断加入。

在数据较小时容易过拟合


Elman网络

递归神经网络,允许网络中出现环结构,从而让一些神经元的输出反馈回来作为输入信号。使得网络在T时刻的输出状态与T-1时刻的网络状态有关,从而能处理与时间有关的动态变化。

Elman网络是最常用的递归神经网络


Boltzmann机

基于能量的模型,分为显层:输入层输出层,隐层:数据内在表达。

神经元都是布尔型,1表示激活,0表示抑制。

玻尔兹曼机的训练过程就是将每个训练样本视为一个状态向量,使其出现的概率尽可能大。

标准玻尔兹曼机是全连接的,常用的是受限玻尔兹曼机,保留显层和隐层的连接,转化为二部图。

常用对比散度算法来训练。 公式详见西瓜书P112

相关文章

  • 其他神经网络类型

    RBF径向基网络: 是一种单隐层前馈神经网络,使用径向基函数作为激活函数,输出层是对隐层神经元输出的线性组合 Pa...

  • 第七章 其他神经网络类型

    第七章其他神经网络类型 理解Elman神经网络 理解Jordan神经网络 ART1神经网络 不断发展的NEAT 到...

  • datawhale-task05(卷积神经网络基础;leNet;

    卷积神经网络基础 LeNet和其他进阶卷积神经网络

  • 其他类型

  • 了解1D和3D卷积神经网络 | Keras

    当我们说卷积神经网络(CNN)时,通常是指用于图像分类的2维CNN。但是,现实世界中还使用了其他两种类型的卷积神经...

  • 其他类型转换为Number类型

    类型转换为number方法一:Number方法Number方法是强制转换,将一个值强制转换为Number类型 Nu...

  • 神经网络

    单层神经元模型 激活函数 BP神经网络(误差逆向传播) 示意图 其他常见神经网络 1.RBF 深度学习

  • 八、其他增强类型

    一、本课目标 理解更多增强类型的使用方法 二、异常抛出增强 示例代码:增强处理类: 实体类: dao层 servi...

  • hash类型其他操作

    HLEN 语法 返回哈希表 key 中字段的数量。 哈希表中字段的数量。当 key 不存在时,返回 0 例子 HS...

  • Keras框架使用

    框架介绍 相当于封装后的神经网络框架,底层基于TensorFlow等其他神经网络框架运行(因此需要先安装对应的底层...

网友评论

      本文标题:其他神经网络类型

      本文链接:https://www.haomeiwen.com/subject/fxhqfxtx.html