神经网络及其分类

前馈网络

前馈网络中各个神经元按接受信息的先后，分为不同的组，每一组可以看作一个神经层，每一层中的神经元接受前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝一个方向传播，没有反向的信息传播（优化算法 是什么反向传播来着）

• 可以用一个有向无环图来表示，前馈网络包括全连接前馈网络和卷积神经网络。
• 前馈网络可以看作一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。这种网络结构简单，易于实现。

反馈网络

• 不但可以接收其他神经元的信号，也可以接收自己的反馈信号。
• 反馈网络的神经元具有记忆功能，在不同的时刻具有不同的状态。
• 反馈神经网络中的信息传播可以是单向或者双向传递
• 因此可用一个有向循环图或无向图来表示
• 包括 循环神经网络，Hopfield网络，波耳兹曼机
  反馈网络可以看作 一个程序，具有更强的计算和记忆能力

图网络

• 图网络是定义在图结构数据上的神经网络，图中每一个节点都由一个或一组神经元来构成，节点之间的连接可以是有向的，也可以是无向的
• 图网络是前馈网络和记忆网络的泛化，包含多种不同的实现方式，比如图卷积网络

深度神经网络

• 其实就是隐藏层数 大于等于1

前馈神经网络 FNN 的具体结构

• feedforward Neural Network FNN 也常称为多层感知器（Multi-Layer Perceptron，MLP）

回答上章提出 是否每层激活函数一样的问题，
答案是，是的。

image.png

每一层的输出（活性值） 等于净输入 代入激活函数 以此来实现 非线性 结构 b就是偏置，也就是偏差 每一层都不一样。
净输入 表示成向量，权重 表示成矩阵

• 通用近似定理
  根据通用近似定理，对于线性输出层和至少一个使用 挤压 性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意的精度 来近似任何一个定义在实数空间R^n中的有界闭集函数。
  挤压性质 是指 类似于 ReLU 这样的激活函数
• 但是 通用近似定理 只是说明了神经网络的计算能力可以去近似一个给定的连续的函数，但并没有给出 如何去找到，是不是最优，以及如何去优化。
• 因此 当用到机器学习的时候，真实的映射函数并不知道，一般是通过经验风险最小化和正则化 来进行参数学习。因为 神经网络的强大能力，反而容易在训练集上过拟合

这里 回去补看一下 分类器 神经网络 也要用到

• 梯度下降法，需要计算损失函数对参数对偏导数，如果通过链式法则逐一对每个参数进行求骗到效率比较低，在神经网络的训练中，经常使用 反向传播算法来高效计算梯度。

diag 是个对角矩阵，也就是说，除了对角线，其余全为0

• 前馈神经网络的优化中也会出现很多问题