数值分析：误差

作者: Bocchi | 来源:发表于2019-03-26 08:14 被阅读0次

数值分析：误差
机器学习先导课《数值分析》（1）——绪论及误差分析
乖乖之死和数值误差分析
数值分析复习day01
2019-01-31
误差分析
吴恩达深度学习-神经网络基础（第7课：机器学习（ML）策略2）
R语言进行方差分析示例
Double类型运算的精度问题
机器学习自学笔记2018-09-19，20

1 误差的来源

模型误差：数学模型与实际问题之间出现的误差
方法误差：由数值计算方法所得到的近似解与模型的准确解的误差
舍入误差：计算机执行算法时由于字长等原因产生的误差
观测误差：由实验观测或测量产生的误差

数值计算只考虑方法误差与舍入误差。（重点！！敲黑板！！）

1.1 方法误差举例

例1：求积分 $\int^1_0{e^{-x^2}}$
解：显然，这个积分的被积函数不存在原函数。因此需要采用数值积分方法求解。
由于可微函数可以使用泰勒（Taylor）展开（重点！！）近似替代
$P_n(x)=f(x_0)+\frac{f^{’}(x_0)}{1!}+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n$
则数值方法的方法误差是
$R_n(x)=f(x)-P_n(x)=\frac{f^{(n+1)}(\xi)}{(n+1)!}(x-x_0)^{n+1}$

1.2 舍入误差

由于计算机的字长有限，原始数据在计算机上表示时会产生误差
由于原始数据或机器中的十进制转化为二进制数产生的初始误差。

由于实数集是无穷多个数，而计算机内部是以二进制表示，在转换过程中会存在误差。

2 误差的概念

设 x* 是准确值 x 的一个近似值

绝对误差
$\epsilon(x^*)=x-x^*$
绝对误差限
$|\epsilon(x^*)|=|x-x^*|\le\epsilon$
相对误差
$\epsilon_r(x^*)=\frac{\epsilon(x^*)}{x}=\frac{x-x^*}{x}$
相对误差限
$|\epsilon_r(x^*)|=|\frac{\epsilon(x^*)}{x}|=|\frac{x-x^*}{x}|\le\epsilon_r$

3 有效数字

若近似值 x* 的误差限是某一单位的半个单位，该位到近似值 x* 的第一位非零数字共有 n 位，就说该近似值有 n 位有效数字。

定理1：设近似数 x* 表示为
$x^*= \pm 10^m \times (a_1+a_2 \times 10^{-1} + ... + a_n \times 10^{-(l-1)})$ $(a_1 \neq 0)$
其中 $a_i(i=1,2,...,l)$ 是 0 到 9 中的一个数字， $a_1 \neq 0$ ，m 为整数。
若 x* 具有 n 位有效数字，则其相对误差限
$\epsilon^*_r \le \frac{1}{2a_1} \times 10^{-n+1}$
反之，则 x* 至少存在 n 位有效数字。

4 数值计算中的误差估计

和（差）的误差限等于误差限之和
$\epsilon(x^*+y^*) \le \epsilon(x^*)+\epsilon(y^*)$
积的误差限
$\epsilon(x^* \times y^*) \le |x^*|\epsilon(y^*) + |y^*|\epsilon(x^*)$
商的误差限
$\epsilon(\frac{x^*}{y^*}) \le \frac{|x^*|\epsilon(y^*)+|y^*|\epsilon(x^*)}{y^{*2}}$
函数的误差限
$\epsilon(f(x^*)) \approx|f^{’}(x^*)|\epsilon(x^*)$

5 误差分析的基本原则

注意避免两个相近的数相减
避免除数的绝对值远小于被除数的绝对值
防止大数吃小数
简化计算步骤，减少运算次数

除了要注意以上原则，通常还应注意不采用不稳定的算法，设计算法时还应尽量避免误差危害。

数值分析：误差
1 误差的来源模型误差：数学模型与实际问题之间出现的误差方法误差：由数值计算方法所得到的近似解与模型的准确解的...
机器学习先导课《数值分析》（1）——绪论及误差分析
数值分析——绪论及误差分析数值分析——绪论及误差分析[#%E6%95%B0%E5%80%BC%E5%88%86%...
乖乖之死和数值误差分析
谨以此文纪念逝去的幼小生命…… 乖乖死了。收到这个消息时我正在上课。接到老婆哭哭啼啼打过来的电话令我一阵心酸，分...
数值分析复习day01
第一天复习数值分析计算和第二章插值法。 1.什么是绝对误差？比如x=1.23,x*=1.234,则绝对误差为|1...
2019-01-31
1 全局最小: 对于参数空间所有点的误差函数值均不小于该点的误差函数值(任意一点都大于) 2 局部最小 :对于参数...
误差分析
error 来源有bias和variance 一是正常地获取数据二是，根据自己对这个问题的理解，制造假的data...
吴恩达深度学习-神经网络基础（第7课：机器学习（ML）策略2）
2.1 进行误差分析（Carrying out error analysis）从举的例子中我理解这里的误差分析，...
R语言进行方差分析示例
方差分析的本质是研究对的影响总误差SST = 组内误差（SSE）+ 组间误差(SSA) 组内误差：误差平方和...
Double类型运算的精度问题
浮点数值不适用于无法接受舍入误差的计算中。舍入误差的主要原因在于浮点数值采用二进制系统表示，而二进制系统中无法精...
机器学习自学笔记2018-09-19，20
结构化机器学习项目第二周 1.1进行误差分析在误差分析时，有时导致误差的原因会有很多种，这时你应该统计不同错误...