一元函数、多元函数的泰勒公式

作者: PrivateEye_zzy | 来源:发表于2019-07-04 16:57 被阅读0次

一元函数、多元函数的泰勒公式
微积分基础
6-3_1 复合求导
高等数学
2018-09-23
泰勒公式 - 泰勒级数
xgboost学习笔记 + GBDT
78.多元函数每多一个变元就多一层无穷
markdown基础
10.柯里化函数以及偏函数

本章涉及知识点：

1、一元函数的泰勒公式推导

2、扩展：二元函数的泰勒公式

3、二元函数的泰勒矩阵形式

4、多元函数的泰勒矩阵形式

5、案例演示

一、一元函数的泰勒公式推导

情况一：如果 $f(x)$ 为一阶连续可微分，且已知 $f(x_{0})$

则由微积分基本定理的Newton-Leibniz公式得

一阶连续可微

即 $f(x)$ 可以拆分为已知的 $f(x_{0})$ 和未知的 $\int_{x_{0}}^{x} f^{(1)}(t)dt$ 两部分之和

情况二：如果 $f(x)$ 为二阶连续可微分，且已知 $f(x_{0})$ 和 $f^{(1)}(x_{0})$

则由分部积分法得

二阶连续可微

即 $f(x)$ 可以拆分为已知的 $f(x_{0})+ f^{(1)}(x_{0})(x-x_{0})$ 和未知的 $\int_{x_{0}}^{x} f^{(2)}(t) (x-t) dt$ 两部分之和

情况三：如果 $f(x)$ 为三阶连续可微分，且已知 $f(x_{0})$ 、 $f^{(1)}(x_{0})$ 和 $f^{(2)}(x_{0})$

则继续使用分部积分法得

三阶连续可微

即 $f(x)$ 可以拆分为已知的 $f(x_{0})+ f^{(1)}(x_{0})(x-x_{0}) + \frac{f^{(2)}(x_{0})}{2!}(x-x_{0})^{2}$ 和未知的 $\int_{x_{0}}^{x}\frac{f^{(3)}(t)}{2!}(x-t)^{2}dt$ 两部分之和

由数学归纳法以此类推，如果 $f(x)$ 为n+1阶连续可微分，则

n+1阶连续可微

上式就是完美的泰勒公式，我们对 $f(x)$ 的阶数知道越多，则解剖的越精细

其中余项 $R_{n+1}(x)$ 可以表示为积分形式，即

余项的积分形式

我们一般在数学分析学中使用泰勒二阶展开，即

泰勒二阶展开

二、扩展：二元函数的泰勒公式

通过类比一元函数得泰勒公式，我们容易将二元函数 $f(x, y)$ 在点 $(x_{0}, y_{0})$ 进行二阶泰勒展开来分析研究（其中 $f(x, y)$ 三阶连续可微）

二元函数的二阶泰勒展开

我们整理 $f(x, y)$ 一次展开项，得

1次展开项

整理 $f(x, y)$ 二次展开项，得

2次展开项

则 $f(x, y)$ 在点 $(x_{0}, y_{0})$ 进行二阶泰勒公式可以写为：

二元函数的2阶泰勒公式

由数学归纳法，易知 $f(x, y)$ 的n次展开项为

n次展开项

则 $f(x, y)$ 在点 $(x_{0}, y_{0})$ 进行n阶泰勒公式可以写为：

二元函数的n阶泰勒公式

至此我们得到了二元函数的n阶泰勒公式，当然，我们还可以继续化简得

二元函数的n阶泰勒公式

三、二元函数的泰勒矩阵形式

为了便于以后研究分析多元函数的极值和凸优化最值问题，我们需要继续探索二元并推广到多元函数的泰勒矩阵形式，一般展开到二阶

将二元函数 $f(x, y)$ 在点 $(x_{0}, y_{0})$ 的二阶泰勒公式写为矩阵形式，即

二元函数的二阶泰勒矩阵形式

我们记： $X = \begin{bmatrix}x \\ y \end{bmatrix}$ ， $X_{0} = \begin{bmatrix}x_{0}\\ y_{0}\end{bmatrix}$

$\triangledown f(x_{0}, y_{0}) = \triangledown f(X_{0}) = \begin{bmatrix}f_{x}(X_{0})\\ f_{y}(X_{0})\end{bmatrix}$

$H(x_{0}, y_{0}) = H(X_{0})= \begin{bmatrix}f_{xx}(X_{0}) & f_{xy}(X_{0})\\ f_{yx}(X_{0}) & f_{yy}(X_{0})\\\end{bmatrix}$

则 $f(x, y)$ 在点 $(x_{0}, y_{0})$ 的二阶泰勒的矩阵形式为

二元函数的二阶泰勒矩阵形式

其中H矩阵叫做 $f(x_{0}, y_{0})$ 的Hessian矩阵(黑塞矩阵)，我们在多元函数极值分析中再分析讨论

四、多元函数的的泰勒矩阵形式

由上述二元函数的泰勒矩阵形式，我们很容易推广到多元函数的泰勒矩阵形式

对于n元函数 $f(x_{0}, x_{1},...,x_{n})$ ，研究其在点 $(a_{0}, a_{1},...,a_{n})$ 的泰勒矩阵形式

同理，我们记： $X = \begin{bmatrix}x_{0}\\ x_{1} \\...\\x_{n}\\\end{bmatrix}$ ， $X_{0} = \begin{bmatrix} a_{0}\\ a_{1}\\...\\a_{n}\\\end{bmatrix}$

$\triangledown f(X_{0}) = \begin{bmatrix}f_{x_{0}}(X_{0})\\ f_{x_{1}}(X_{0})\\...\\f_{x_{n}}(X_{0} )\\\end{bmatrix}$

$H(X_{0} ) = \begin{bmatrix}f_{x_{0}x_{0} }(X_{0}) & f_{x_{0}x_{1}}(X_{0}) & ... & f_{x_{0}x_{n}}(X_{0})\\ ... & ... & ...\\f_{x_{n}x_{0}}(X_{0}) & f_{x_{n}x_{1}}(X_{0}) & ... & f_{x_{n}x_{n}}(X_{0} ) \\\end{bmatrix}$

同理，我们可以推出 $f(x_{0}, x_{1},...,x_{n})$ 在点 $(a_{0}, a_{1},...,a_{n})$ 的二阶泰勒的矩阵形式为

多元函数的二阶泰勒矩阵形式

可以看到在矩阵形式下，多元函数的二阶泰勒矩阵形式和二元函数的区别为：函数自变量的维度和Hessian矩阵的shape

且由线性代数的知识可知，多元函数的二阶泰勒矩阵形式是一个关于 $(X^T - X_{0})$ 的二次型方程，这对于我们后面分析多元函数极值的情况非常有用

五、案例演示

下面我们以一元函数为例，通过一个案例演示泰勒公式

案例函数为： $f(x) = 2\sin x + x$

已知： $f(x_{0})$ 和 $f^{1}(x_{0})、f^{2}(x_{0})...f^{k}(x_{0})$ 的值（注意我们只知道 $f(x)$ 在 $x_{0}$ 处的k阶导函数值，并不知道 $f(x)$ 的k阶导函数）

未知： $f(x)$ 的函数表达式，以及 $f(x)$ 的k阶导函数表达式

需求：给定任意x逼近计算 $f(x)$

解决方案： $f(x)$ 的taylor近似计算

递归求fx的高阶导函数值

计算fx的N阶泰勒公式函数值

近似拟合结果

从结果中可以看到：从15阶高阶导数开始，taylor公式已非常近似逼近未知的 $f(x)$

案例代码见：一元函数的泰勒公式

一元函数、多元函数的泰勒公式
本章涉及知识点：1、一元函数的泰勒公式推导2、扩展：二元函数的泰勒公式3、二元函数的泰勒矩阵形式4、多元函数的泰勒...
微积分基础
写在前面知识点函数导数微积分偏导数凸函数定义凸函数的性质泰勒展开式泰勒公式的应用泰勒公式的推导总结...
6-3_1 复合求导
一、多元函数复合求导 1 复合函数的中间变量为一元函数的情形 2 复合函数的中间变量为多元函数的情形 3 复合函...
高等数学
麦克劳林公式：是泰勒公式的特殊情况，其实就是用多项式的和去拟合一个函数。泰勒公式：泰勒公式：就是麦克劳林公式的一...
2018-09-23
何为泰勒公式在数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够光滑的话，在已知函...
泰勒公式 - 泰勒级数
泰勒公式基本介绍泰勒公式，应用于数学、物理领域，是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑...
xgboost学习笔记 + GBDT
从泰勒公式说起泰勒公式损失函数存在二阶导数的时候，可以提供参数下降的方向梯度下降法的泰勒展开理解.png 为什么...
78.多元函数每多一个变元就多一层无穷
多元函数，与一元函数有明显区别，假如一多元函数包含三个变量，那么即使确定了其中一个变量的值，函数的值仍是不确定的，...
markdown基础
一. 高数 a. 公共部分 1.极限与连续 2.一元函数微分学 3.一元函数积分学 4.微分方程 5.多元微分学 ...
10.柯里化函数以及偏函数
柯里化函数定义:数学上的一种概念简单说就是多元函数变换一元函数调用链利用扩展函数对该类函数进行扩展偏函数 1...