wakaka，我又来了。
学习背景：老板让我搞图像领域，内心是很无力的，毕竟自己正在做omics的东西都没有什么进展呢，又让我搞新的，但是一切都是没得办法。所以又来学CNN、DNN了。

---

DNN出现的原因

• ANN、SNN和DNN的关系
  ANN（Artificial Neural Network）是指仿照人体神经元的兴奋/抑制的突触传递方式模型化的框架，最开始出现的是感知器（perceptron），有着简单的输入层、隐藏层、输出层三层结构，但是它因为结构简单，没办法处理非线性问题，这个时候形成的就是浅层神经网络SNN（Shallow Neural Network），统指层数较少，不能很好地处理非线性问题的人工神经网络。后来的研究者在这个基础上不断添加隐藏层，同时利用sigmoid、tanh函数来解决非线性的问题，这个时候的人工神经网络称为DNN（Deep Neural Network），所以说SNN和DNN都是ANN的分支，只不过是功能、隐藏层上存在差别。
• DNN 的优点

相比传统的SNN，DNN由于具有更多的层次结果，因而对事物的建模或抽象表现能力更强，也能模拟更复杂的模型。

DNN的模型

在上面我们介绍了DNN相对于SNN来说，隐藏层数更多，而且拟合实际问题的能力更强，但是随着而来的越来越容易陷入局部最优和梯度消失问题，导致多层隐藏层成了噩梦，甚至多层效果还不如简单的SNN。于是Hinton,（2006）利用与训练方法缓解了局部最优解问题才将隐藏层推到了7层，同时为了克服梯度消失的问题，将sigmoid函数尝试用ReLu、maxout等输出函数替换，形成了大家比较熟知的DNN结构。

DNN

参考：
DNN与ANN的区别
DBN/DNN/ANN/SNN
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？