神经元模型
神经网络中最基本的成分是神经元。比如一个神经元接受来自个其他神经元传递过来的输入信号，这些信号通过带权重的连接进行传递，神经元将接收到的总输入信号值与自身阈值进行比较，然后通过激活函数产生相应的输出值。
一般给定训练集，权重和阈值
可通过学习得到。
感知机
感知机由两层(输入层和输出层)神经元组成，其中只有输出层神经元具有激活函数处理，即只有一层功能神经元(functional neuron)，其学习能力非常有限。感知机能容易地实现与、或、非逻辑运算等线性可分问题。可以证明，若两类模式是线性可分的，即存在一个线性超平面能将它们分开，则感知机的学习过程一定会收敛而求得适当的权重；否则感知机的学习过程会发生振荡，权重难以稳定下来，不能求得合适解。
感知机的学习规则非常简单，对训练样例，若当前感知机的输出为
，则感知机权重将这样调整：
其中为学习率，可以看出，若感知机对训练样例预测正确，即
，则权重不变，否则根据错误程度进行权重调整。
要解决非线性可分问题，需要考虑使用多层功能神经元。输入层和输出层之间为隐藏层，隐藏层和输出层神经元都是拥有激活函数的功能神经元。
输入层神经元仅接受外界输入，不进行函数处理，隐藏层和输出层神经元对信号进行加工，最终结果由输出层神经元输出。神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权重和每个功能神经元的阈值。
反向传播算法
多层网络的学习能力比单层感知机强得多。想要训练多层网络，简单感知机的学习规则显然不够，需要更强大的学习算法。反向传播算法就是其中最杰出的代表。
Hornik等人证明，只需一个包含足够多神经元的隐藏层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。【万能逼近定理】然而，如何设置隐藏层神经元的个数仍是个未解决的问题，实际应用中通常靠试错法调整。
正是由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，但是测试误差却可能上升。通常可以采用早停止和正则化策略缓解过拟合。
基于梯度的搜索是使用最为广泛的参数寻优方法。由于负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。
其他神经网络
RBF网络
RBF(Radial Basis Function，径向基函数)网络是一种单隐藏层神经网络，使用径向基函数作为隐藏层神经元的激活函数，输出层则为隐藏层神经元输出的线性组合。
假定输入为维向量
，输出为实值，则RBF网络可表示为：
为隐藏层神经元个数，
和
分别为第
个隐藏层神经元所对应的中心和权重，
是径向基函数，通常定义为样本
与数据中心
之间欧氏距离的单调函数。常用的高斯径向基函数形如：
[Park and Sandberg, 1991]证明，具有足够多隐藏层神经元的RBF网络能以任意精度逼近任意连续函数。
ART网络
竞争型学习(competitive learning)是神经网络中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制。这种机制也称为胜者通吃(winner-take-all)原则。
ART(Adaptive Resonance Theory，自适应谐振理论)网络是竞争型学习的重要代表。该网络由比较层、识别层、识别阈值和重置模块构成。其中，比较层负责接收输入样本，并将其传递给识别层神经元，识别层每个神经元对应一个模式类，神经元数目可在训练过程中动态增长以增加新的模式类。
SOM网络
SOM(Self-Organizing Map，自组织映射)网络是一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间(通常为二维，以矩阵方式排列)，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点映射到网络输出层中的邻近神经元。
递归神经网络
与前馈神经网络不同，递归神经网络允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号。这样的结构与信息反馈过程，使得网络在时刻的输出不仅与
时刻的输入有关，还与
时刻的输出有关，从而能够处理与时间有关的动态变化。
Boltzmann机
神经网络中有一类模型是为网络状态定义一个能量，能量最小化时网络达到理想状态，而网络的训练过程就是在最小化这个能量函数。Boltzmann机就是一种基于能量的模型(energy-based model)。
深度学习
典型的深度学习模型就是很深层的神经网络。对于神经网络，提高模型容量的简单办法就是增加隐藏层层数和增加隐藏层神经元个数。从增加模型复杂度的角度来看，增加隐层的层数显然比增加隐层神经元的数目更有效，因为增加隐层层数不仅增加了拥有激活函数的神经元数目，还增加了激活函数嵌套的层数。
通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务，由此可将深度学习理解为进行特征学习(feature learning)或表示学习(representation learning)。
《西瓜书》
《南瓜书》
网友评论