深度学习中常用概念和术语

下面将按照三个主题来介绍常用的概念和术语：

1、神经网络(Neural Network)

2、卷积神经网络(Convolutional Neural Network)

3、循环神经网络(Recurrent Neural Networks)

---

神经网络

神经网络的定义：神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据，并且具有根据网络”经验“调整的相关权重。神经元具有激活阈值，如果通过其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被激活;发射神经元的组合导致“学习”。

神经元（Neuron）   

权重（Weights）     

偏差（Bias）

激活函数（Activation Function）：常用的激活函数有Sigmoid、ReLUctant、Softmax

输入/输出、隐藏层（Input / Output / Hidden Layer）

多层感知机（MLP：Multi-Layer Perception）

正向传播（Forward Propagation）   

反向传播（BackPropagation）

成本函数/损失函数（Cost Function）

梯度下降（Gradient Descent)

学习率（Learning Rate）

批次（Batches）     

丢弃（Dropout）

批量归一化（Batch Normalization）

---

卷积神经网络

滤波器（Filters）

池化（Pooling）

填充（Padding）

数据增强（Data Augmentation）

---

循环神经网络

消失梯度问题（Exploding Gradient Problem）

激增梯度问题（Exploding Gradient Problem）

理解这25个概念，你的「深度学习」才算入门！