本章节是对我学习完机器学习（周志华）第五章 所做出来的总结。

第五章 神经网络

5.1 神经元模型

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。

神经网络中最基本的成分是神经元模型，即上述定义中的“简单单元”。

M-P神经元模型：神经元接收到来自n个其他神经元传递过来的传输信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较然后通过“激活函数”处理以产生神经元的输出。

M-P神经元模型

5.2 感知机与多层网络

感知机由两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

两个输入神经元的感知机网络结构示意图

注意：感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限。

要解决非线性问题，需考虑使用多层功能神经元。输出层和输入层之间的一层，被称为隐层或隐含层。

每层神经元与下一层神经元全互联，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”。其中输入层神经元接受外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。

神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

5.3 误差逆传播算法

多层网络的学习能力比单层感知机强的多。与训练多层网络，简单感知机学习规则显然不够了，需要更强大的学习算法。误差逆传播（简称BP）算法就是其中最杰出的代表。现实任务中使用神经网络时，大多是使用BP算法进行训练。

BP算法的工作流程：先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果；然后计算输出层的误差；再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和阈值进行调整。该迭代过程循环进行，直到达到某些停止条件为止。

误差逆传播算法

注意：BP算法的目标是要训练集上的累积误差。

标准BP算法每次仅针对一个训练样例更新连接权和阈值。如果类似地推导出基于累积误差最小化的更新规则，就得到了累积误差逆传播算法。

标准BP算法每次更新只针对单个样例，参数更新的非常频繁，而且对不同样例进行更新的效果可能出现“抵消”现象。因此为了达到同样的累积误差极小点，标准BP算法往往需进行更多次数的迭代。

累积BP算法直接针对累积误差最小化，它在读取整个训练集一遍后才对参数进行更新，其参数更新的频率低得多。在很多任务中，累积误差下降到一定程度之后，进一步下降会非常缓慢，这时标准BP算法往往会更快获得较好的解，尤其是在训练集非常大时更明显。

BP神经网络由于有强大的表示能力，经常遭遇过拟合，其训练误差持续降低，但测试误差却可能上升。有两种方法来缓解BP网络的过拟合，分别是“早停”和“正则化”。

早停：将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。

正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分。

5.4 全局最小和局部极小

局部极小解是参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值；全局最小解则是参数空间中所有点的误差函数值均不小于该点的误差函数值。

注意：“全局最小”一定是“局部极小”，反之则不成立。

5.5 其他常见神经网络

RBF（径向基函数）网络

ART（自适应协振理论）网络

SOM（自组织映射）网络

级联相关网络

Boltzmann机

5.6 深度学习

理论上来说，参数越多的模型复杂度越高、“容量”越大，这意味着它能完成更复杂的学习任务。但一般情况下，复杂模型的训练效率低，易陷入过拟合。随着云计算、大数据时代的到来，计算能力的大幅提高课缓解训练低效性，训练数据的大幅增加则可降低过拟合风险，因此，以“深度学习”为代表的复杂3模型开始收到人们的关注。

无监督逐层训练是多隐层网络训练的有效手段，其基本思想是每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层隐结点的输出作为下一层隐结点的输入，这称为“预训练”；在预训练全部完成后，在对整个网络进行“微调”训练。

“预训练+微调”的做法可视为将大量参数分组，对每组先找到局部看来比较好的设置，然后再基于这些局部较优的结果联合起来进行全局寻优。这样就在利用了模型大量参数所提供的自由度的同时，有效地节省了训练开销。

另一种节省训练开销的策略是“权共享”，即让一组神经元使用相同的连接权。这个策略在卷积神经网络（简称CNN）发挥了重要作用，大幅减少了需要训练的参数数目。