深度学习中常用名词解释

• 正向传播——数据从输入到输出的流向传递过来的，它是在假设有合适的权值w和偏执b的基础上传播的。

• 反向传播——告诉模型需要将w和b调整到多少。在刚开始没有得到合适的权重时，正向传播生成的结果与实际的标签是有误差的，反向传播就是要把这个误差传递给权重，让权重做适当地调整来达到一个合适的输出。在实际训练中，通过多次迭代一点一点的将其修正，最终直到模型的输出值与实际标签值的误差小于某个阈值为止。

• 激活函数——用来加入非线性因素，以解决线性模型表达能力不足的缺陷。因为神经网络的数学基础是处处可微的，所以选取的激活函数要保证数据输入与输出也是可微的。常见的激活函数有Sigmoid、Tanh、relu等。

• 损失函数——用来描述模型预测值与真实值的差距大小。一般有两种比较常见算法：均方平方差MSE和交叉熵。二者都是值越小，表明预测结果越准，模型就越好。

• 梯度下降——一种最优化算法，通常也称为最速下降法，常用于机器学习和人工智能中递归性地逼近最小偏差模型，梯度下降的方向也就是负梯度方向为搜索方向，沿着梯度下降的方向求解极小值。常用的梯度下降算法有：批量梯度下降、随机梯度下降、小批量梯度下降。

• 退化学习率——又叫学习率衰减，在训练速度和精度之间找到平衡。

• softmax算法——用来处理互斥的多分类问题。判断输入属于某一个类的概率大于属于其他类的概率，那么这个类对应的值就逼近于1，其他类的值就逼近于0。对于要生成的多个类任务中不是互斥关系的，一般会使用多个二分类来组成。