花书《深度学习》《Deep Learning》学习笔记 chap

4.1 上溢和下溢

下溢 (underflow):当接近零的数被四舍五入为零 时发生下溢。
上溢 (overflow):当大量级的数被近似为 ∞ 或 −∞ 时发生上溢。

4.2 病态条件数

条件数表明函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而 迅速改变的函数对于科学计算来说是可能是有问题的，因为输入中的舍入误差可能 导致输出的巨大变化。

这是最大和最小特征值的模之比。当该数很大时，矩阵求逆对输入的误差特别敏感。

4.3 基于梯度的优化方法

我们把要最小化或最大化的函数称为目标函数 (objective function)或准则 (criterion)。当我们对其进行最小化时，我们也把它称为代价函数 (cost function)、损失函数 (loss function) 或误差函数 (error function)。

----待更新