神经网络概述

感知机

• 最小的神经网络结构，无论多复杂的神经网络都由许多感知机构成。

• 感知机结构：输入层、输出层

  
  感知机
• 感知机是一个二分类模型，能够解决线性分类问题。经过训练，对于每个输入（x1,x2,x3），通过输出
  )给出分类结果。
• 感知机简洁有效，但缺点很明显，无法解决较复杂问题。最简单的例子，就是异或问题都无法解决。

多层感知机（神经网络NN）

• 将许多感知机连接起来，单个感知机作为神经元，增加隐藏层，就成了大名鼎鼎的神经网络。

• 神经网络结构：输入层、一或多个隐藏层、输出层

  
  全连接四层神经网络
• 优点：相对于单个感知机，对于复杂问题的解决能力大大增强。理论上，越深的网络，能够模拟越复杂的函数。

深度神经网络DNN

• 随着网络层数加深，出现了以下严重的问题。
  1. 优化函数容易陷入局部最优解。
  2. 梯度消失现象（vanishing gradient）。
• 解决方法：
  1. 预训练方法缓解局部最优解问题。（注：采用贪心算法，逐层得出权重值）
  2. 采用ReLU、Maxout等函数来替换原来Sigmod和tanh激活函数，克服梯度消失问题。
• 这两个问题的解决，使得神经网络的深度可以大幅度加深（DNN），替身了对现实的刻画模拟程度，机器学习中的一大分支-深度学习诞生。
• 全连接的DNN在结构上和多层感知机其实一样，只是深度能够大幅度加深。同时带来了另外的弊端：参数膨胀和过拟合问题。由于全连接的DNN每层每个神经元都和下一层的每个神经元相连，每条连线就要对应一个权重，使得参数数量极大，变得很难训练。另外，由于参数数量过大，对于训练数据的拟合性太大，反而在测试集上难以取得好的效果。
• 因此，在实际运用中，针对数据集的特点，产生了很多优秀的变种。

卷积神经网络CNN

• CNN是神经网络在计算机视觉CV领域的重要应用。目前的CV领域，几乎有deep learning一统江山的局势，其中最大的功臣就是CNN。
• 在图像领域，数据更大，传统的全连接DNN需要的参数更大，变得无法适应。CNN采用局部连接的方式，神经元（卷积核）只和部分像素相连，并采用权值共享，大幅度降低参数数量。

循环神经网络RNN

• RNN是在时间序列上建模的神经网络，在语言识别、手写识别等领域具有广泛应用。

• 一般的神经网络，同一隐藏层的各个节点相互独立，互不相连。而RNN不同，隐藏层节点的输入除了上层的输出外，还有自身上一时刻的输出。RNN可以看作一个在时间轴上传递的神经网络。

  
  RNN结构

• 缺陷：梯度消失问题会在时间轴上出现，一般采用LSTM结构来避免这个问题。

• 参考资料

1. UFLDL教程
2. CSDN博客-卷积神经网络
3. 知乎关于神经网络的回答