相关概念（截取自网络上的）

• 相关链接

https://blog.csdn.net/ice_actor/article/details/78648780

• 卷积神经网络层的类型：

卷积层(convolution,conv)
池化层(pooling,pool)
全连接层(Fully connected,FC)

• 目前主流的几个激活函数是：sigmoid、tanh、ReLU。

sigmoid：采用S形函数，取值范围[0,1]
tanh：双切正切函数，取值范围[-1,1]
ReLU：简单而粗暴，大于0的留下，否则一律为0。

• SoftMax：我们知道max(A,B)，是指A和B里哪个大就取哪个值，但我们有时候希望比较小的那个也有一定概率取到，怎么办呢？我们就按照两个值的大小，计算出概率，按照这个概率来取A或者B。比如A=9，B=1,那取A的概率是90%，取B的概率是10%。

相对比于max(A,B)，Softmax更温柔，不是简单的输出最大值，而是按概率取

• 损失函数：损失函数是模型对数据拟合程度的反映，拟合得越好损失应该越小，拟合越差损失应该越大，然后我们根据损失函数的结果对模型进行调整。

• 交叉熵：这个概念要解释的简单，那就不准确，如果要准确，那可能一千字都打不住。这里说一个简单但不一定准确的解释吧。

比如，你想把乾坤大挪移练到第七层大圆满，你现在是第五层，那你还差两层，这个两层就是你和大圆满之间的距离。交叉熵通俗的讲就是现在的训练程度和圆满之间的距离，我们希望距离越小越好，所以交叉熵可以作为一个损失函数，来衡量和目标之间的距离。

• 梯度下降：这个概念可以这样理解，我们要解决的问题是一座山，答案在山底，我们从山顶到山底的过程就是解决问题的过程。

在山顶，想找到最快的下山的路。这个时候，我们的做法是什么呢？在每次选择道路的时候，选最陡的那条路。梯度是改变率或者斜度的另一个称呼，用数学的语言解释是导数。对于求损失函数最小值这样的问题，朝着梯度下降的方向走，就能找到最优值了。

• 反向传播
  反向传播（Back Propagation），旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。
  前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。

• 怎么看loss和acc的变化（loss几回合就不变了怎么办？）
  train loss 不断下降，test loss不断下降，说明网络仍在学习;
  train loss 不断下降，test loss趋于不变，说明网络过拟合;
  train loss 趋于不变，test loss不断下降，说明数据集100%有问题;
  train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;
  train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。