深度学习(花书)

第一部分 应用数学及机器学习基础

第四章 数值计算

机器学习算法需要进行大量的数值计算，而这种计算是采用通过迭代更新所得的近似解来替代直接求解的解析解。

计算机无法通过有限的表示位数来表示无限的实数，这常常带来上溢与下溢两类问题，为解决该问题我们在计算中引入了数值稳定的方法，去避免溢出问题（例如theano包，可以寻找函数式中不稳定的地方）

病态条件：矩阵会放大原有的误差

基于梯度的优化

约束优化（局部最优）