差分模型理论概述

作者: 離塵真心 | 来源:发表于2018-12-10 16:04 被阅读27次

差分模型理论概述
双重差分的理论与实践
理论方法列表
时序差分算法(Temporal-Difference Learn
分库分表理论概述
激光SLAM笔记
双重差分模型DID 模型介绍
ARIMA
2020 时序分析(8) 差分方差
用户体验的模型

本文是纯粹的数学工具的综述与学习笔记，尽量用易懂的方式来讲述。读者需要的预备知识有：

一元多次方程、解、根的概念、代数基本定理
多项式求导数及其性质
一元二次方程的解法
复数的概念及复数的指数表示方法
数列的概念
线性代数的基本知识（基(base)、线性组合、线性无关/线性相关）

一、差分方程、齐次/非齐次线性差分方程、常系数线性差分方程的概念

差分方程：关于数列 $y_n$ 的形如 $F(y_n, \cdots , y_{n-k})=0$ 方程，如 $y_n+y_{n-1}-1=0$ 、 $y_n-y_{n-1}=3n^2+2n+1$ 。

阶：形如 $F(y_n, \cdots , y_{n-k})=0$ 的差分方程的阶为 $k$ 。

差分方程的解：若数列 $y^*_n$ 满足条件 $F(y^*_n, \cdots , y^*_{n-k})=0$ ，则称数列 $y^*_n$ 是差分方程 $F(y_n, \cdots , y_{n-k})=0$ 的一个解。

线性差分方程：关于数列 $y_n$ 的形如 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ 的方程，其中 $a_k(n)$ 表示一个关于整数 $n$ 的函数。

常系数线性差分方程：关于数列 $y_n$ 的形如 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ 的方程，其中 $a_k(n) \equiv a_k$ 表示一个与整数 $n$ 的无关的常数。

齐次线性差分方程：在 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ 中 $b_n \equiv 0$ 。

非齐次线性差分方程：在 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ 中 $b_n \neq 0$ 。

数列的线性相关与线性无关：对于 $s$ 个数列 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(s)}_n$ ，若存在实数 $c_1 \neq 0, \cdots ,c_s \neq 0$ ，成立 $c_1y^{(1)}_n+ \cdots +c_sy^{(s)}_n \equiv 0(\forall n)$ ，则称 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(s)}_n$ 线性相关，否则称为线性无关。

二、线性差分方程的解的特点

一些记号：

记 $L$ 为滞后算子，即 $Ly_n=y_{n-1}$ ， $L^ky_n=y_{n-k}$ ；

记 $\Delta$ 为差分算子，即 $\Delta y_n=y_n-y_{n-1}$ 。

对于线性差分方程 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ ，由于

$y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}$

$=y_n+a_1(n)Ly_{n}+ \cdots +a_k(n)L^ky_{n}$

$=[1+a_1(n)L+ \cdots +a_k(n)L^k]y_n$

记其中 $1+a_1(n)L+ \cdots +a_k(n)L^k=P_k(L)$ ，则可将线性差分方程 $y_n+a_1(n)y_{n-1}+ \cdots +a_k(n)y_{n-k}=b_n$ 简记为 $P_k(L)y_n=b_n$ ，并在下文中简称线性差分方程为“方程”。

1、齐次线性差分方程的解的特点

若 $y^{(1)}_n$ 、 $y^{(2)}_n$ 是方程 $P_k(L)y_n=0$ 的解，则对任意 $c_1,c_2 \in {\rm \pmb R}$ ， $c_1y^{(1)}_n+c_2y^{(2)}_n$ 也是方程 $P_k(L)y_n=0$ 的解。

简证：这一条性质可以由解的定义直接得到。
$k$ 阶齐次方程 $P_k(L)y_n=0$ 的线性无关的解有且只有 $k$ 个。

证明：显然，对于 $k$ 阶方程，若再限定定其解须满足条件 $y_1=m_1, \cdots, y_k=m_k$ ，其中 $m_1, \cdots , m_k$ 已知，则该方程有且只有一个解。
1. 先证明：方程 $P_k(L)y_n=0$ 的线性无关解至多有 $k$ 个。反设 $k$ 阶齐次方程 $P_k(L)y_n=0$ 的线性无关的解有 $k+1$ 个，分别为 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(k+1)}_n$ 。设方阵 $A$ 为
  
  $A= \begin{pmatrix} y^{1}_1 & \cdots & y^{k}_1 \\ \vdots & \ddots & \vdots \\ y^{1}_k & \cdots & y^{k}_k \end{pmatrix}$
  
  设向量 $b=(y^{(k+1)}_1, \cdots , y^{(k+1)}_k)$ 。由于 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(k)}_n$ 线性无关，因而矩阵 $A$ 的列构成的向量组线性无关，因而矩阵 $A$ 满秩。因此，对于关于 $c=(c_1, \cdots ,c_k)'$ 的方程组 $Ac=b$ 有唯一解 $c^*=(c^*_1, \cdots , c^*_k)=A^{-1}b$ 。设 $y^*_n=c^*_1y^{(1)}_n + \cdots + c^*_ky^{(k)}_n$ 。由于 $y^*_1=c^*_1y^{(1)}_1 + \cdots + c^*_ky^{(k)}_1=y^{(k+1)}_1$ ，…， $y^*_k=c^*_1y^{(1)}_k + \cdots + c^*_ky^{(k)}_k=y^{(k+1)}_k$ ，根据本证明一开始时的“显然”部分可知， $y^*_n=y^{(k+1)}_n$ ，从而有 $y^{(k+1)}_n=c^*_1y^{(1)}_n + \cdots + c^*_ky^{(k)}_n$ ，因而 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(k+1)}_n$ 线性相关，与题设矛盾。#
2. 再证明：先证明方程 $P_k(L)y_n=0$ 的线性无关解至少有 $k$ 个。反设 $P_k(L)y_n=0$ 的线性无关解只有 $l$ 个，分别为 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(l)}_n$ ，且 $l<k$ 。则存在向量 $y^*=(y^*_1, \cdots , y^*_k)'$ 不能由向量组 $(y^{(1)}_1, \cdots ,y^{(1)}_k)'$ ，…， $(y^{(l)}_1, \cdots ,y^{(l)}_k)'$ 线性表出。因此，前 $k$ 项分别为 $y^*_1, \cdots , y^*_k$ 的方程 $P_k(L)y_n=0$ 的唯一解 $y^*_n$ 与 $y^{(1)}_n, y^{(2)}_n, \cdots , y^{(l)}_n$ 线性无关，因而方程 $P_k(L)y_n=0$ 的线性无关解有 $l+1$ 个，与题设矛盾。#
综上所述， $k$ 阶齐次方程 $P_k(L)y_n=0$ 的线性无关的解有且只有 $k$ 个。#
方程 $P_k(L)y_n=0$ 的解构成 $k$ 维线性空间。（由第一条性质+实数运算的性质可得到解构成线性空间，由第二条性质可得该线性空间是 $k$ 维的）

2、非齐次线性差分方程的解的特点

设方程 $P_k(L)y_n=b_n$ 的一个解为 $y^*_n$ ，则方程 $P_k(L)y_n=b_n$ 的解的结构为 $y^*_n+c_1y^{(1)}_n + \cdots + c_ky^{(k)}_n$ ，其中 $y^{(1)}_n , \cdots , y^{(k)}$ 是齐次方程 $P_k(L)y_n=0$ 的 $k$ 个线性无关的解， $c_1, \cdots , c_k \in {\rm \pmb R}$

3、非齐次线性差分方程的特解的计算方法

我还不知道高阶的怎么求，只知道一阶的怎么求。。。囧o(╯□╰)o

对于一阶的非齐次线性差分方程 $y_n+a_ny_{n-1}=b_n$ ，已知其对应的齐次方程的一个解为 $x_n$ 。利用常数变易法，设非齐次方程的解为 $z_n=c_nx_n$ ，代入非齐次方程，得 $c_nx_n+a_nc_{n-1}x_{n-1}=b_n$ ，整理得 $c_n(x_n+a_nx_{n-1})+a_nx_{n-1} \Delta c_n=b_n$ ，其中由于 $x_n$ 是齐次方程的解，所以 $(x_n+a_nx_{n-1})=0$ ，从而得到 $a_nx_{n-1} \Delta c_n=b_n$ ，即 $\Delta c_n = \frac{b_n}{a_nx_{n-1}}$ ，累加得 $c_n-c_1=\sum_{i=2}^n{\Delta c_n}=\sum_{i=2}^n{ \frac{b_n}{a_nx_{n-1}} }$ ，其中 $c_1$ 待定。将 $z_2=c_2x_2$ 代入非齐次方程，化简得到 $a_2c_1x_1=0$ ，因此对于任何情况， $c_1=0$ 时， $z_2=c_2x_2$ 一定是非齐次方程的解，故取 $c_1=0$ 作为非齐次方程的特解，从而有 $c_n=\sum_{i=2}^n{ \frac{b_n}{a_nx_{n-1}} }$ 。因此 $z_n=x_n\sum_{i=2}^n{ \frac{b_n}{a_nx_{n-1}} }$ （ $n \geq 1$ 成立，z_1可通过将z_2代入方程中解出）是非齐次方程的一个特解。

三、线性常系数差分方程的解法

1、如何找到齐次线性常系数差分方程的k个线性无关解

设复指数 $\lambda^n$ 是方程 $P_k(L)y_n=0$ 的解，其中 $\lambda \in {\rm \pmb C}$ 且 $\lambda \neq 0$ 。代入方程 $P_k(L)y_n=0$ ，化简得：

$\lambda^k+a_1 \lambda^{k-1}+ \cdots +a_k=0$

以上方程称为该差分方程的特征方程。

根据代数基本定理，特征方程有 $k$ 个根，且若 $\lambda^*$ 为根，则其共轭 $\overline{\lambda^*}$ 也是特征方程的根。因而，特征方程的复根必有对应的共轭根。

若 $\lambda$ 为特征方程的单根，则属于该特征根及其共轭根（虚根才有）的差分方程的复数解为 $y^*_n=\lambda^n$ 。
- 若 $\lambda$ 为虚数，则其对应的实数解为 $r^n{\rm sin}(n \phi)$ 、 $r^n{\rm cos}(n\phi)$ ，其中 $\lambda =a+bi$ ， $r=\sqrt{a^2+b^2 }$ ， $\phi={\rm arccos}\frac{a}{\sqrt{a^2+b^2}}$ 。
  证明提示：若复数为根，则复数的实部、虚部也为根。
- 若 $\lambda$ 为实数，则其对应的实数解为 $\lambda^n$ 。
若 $\lambda$ 为特征方程的 $m$ 重根，则属于该特征根及其共轭根（虚根才有）的差分方程的复数解为 $\lambda^n$ ， $n\lambda^n$ ，…， $n^{k-1}\lambda^n$ 。若为虚根，则其实数解为 $r^n{\rm sin}(\phi n)$ ， $nr^n{\rm sin}(\phi n)$ ，…， $n^{k-1}r^n{\rm sin}(\phi n)$ ； $r^n{\rm cos}(\phi n)$ ， $nr^n{\rm cos}(\phi n)$ ，…， $n^{k-1}r^n{\rm cos}(\phi n)$ 。

证明提示：将 $P_k(L)\lambda^n$ 对 $\lambda$ 求导再乘以 $\lambda$ ，重复该过程 $s$ 次（ $s < m$ ）得

$n^s \lambda^n+a_1(n-1)^s \lambda^{n-1}+ \cdots +a_k (n-k)^s \lambda^{n-k}$

由于 $\lambda$ 为特征方程的 $m$ 重根，因而有

$n^s \lambda^n+a_1(n-1)^s \lambda^{n-1}+ \cdots +a_k (n-k)^s \lambda^{n-k}=0$

所以 $n^s \lambda^n$ 是方程 $P_k(L)y_n=0$ 的解。

2、如何找到非齐次线性常系数差分方程的特解

我也不知道如何通解。。还得请教各位。只知道 $b_n$ 为关于 $n$ 的多项式时，可以用待定系数法。

3、实际应用中如何解出一个线性常系数差分方程的解

a、解析解

能否解出解析解的关键问题在于，能否求出特征方程的根的解析解。理论上，5次及以上方程无求根公式，四次方程、三次方程的求根公式比较复杂，因此实际应用中方便解出的求根公式的，只有2次和1次方程。

b、数值解

用计算机近似解出 $k$ 个特征根，据此得到通解为 $y^*_n=c_1x^{(1)}_n+ \cdots +c_kx^{(k)}_n$ ，然后利用已知的 $k$ 个初值 $y_1, \cdots , y_k$ ，得到方程组：

$\begin{pmatrix} x^{(1)}_1 & \cdots & x^{(k)}_1 \\ \vdots & \ddots & \vdots \\ x^{(1)}_k & \cdots & x^{(k)}_k \end{pmatrix} \cdot \begin{pmatrix} c_1 \\ \vdots \\ c_k \end{pmatrix} = \begin{pmatrix} y_1 \\ \vdots \\ y_k \end{pmatrix}$

解得

$\begin{pmatrix} c_1 \\ \vdots \\ c_k \end{pmatrix} = {\begin{pmatrix} x^{(1)}_1 & \cdots & x^{(k)}_1 \\ \vdots & \ddots & \vdots \\ x^{(1)}_k & \cdots & x^{(k)}_k \end{pmatrix}}^{-1} \begin{pmatrix} y_1 \\ \vdots \\ y_k \end{pmatrix}$

然后就可以利用这个方程研究数列是否存在极限等各种性质。

四、附录（定理的证明过程）

差分模型理论概述
本文是纯粹的数学工具的综述与学习笔记，尽量用易懂的方式来讲述。读者需要的预备知识有：一元多次方程、解、根的概念、...
双重差分的理论与实践
1. 理论 1.1 标准表述（定义）双重差分模型（difference-in-differences）主要被用于...
理论方法列表
# 理论方法列表 ## 计量经济学 - [x] 双重差分模型 - [ ] Stata应用 ## 多元统计分析方法...
时序差分算法(Temporal-Difference Learn
概述时序差分算法是一种无模型的强化学习算法。它继承了动态规划(Dynamic Programming)和蒙特卡罗...
分库分表理论概述
1.什么是分库分表一个库一个表拆分为 N个库N个表分为垂直拆分，水平拆分 2.为什么要分库分表随着业务发展，...
激光SLAM笔记
两轮差速底盘运动学模型差分模型（欠驱动）运动学解算三轮全向底盘的运动模型全向模型运动分解-平移X 运动分...
双重差分模型DID 模型介绍
参考： https://zhuanlan.zhihu.com/p/103412389 【计量地图】DID（双重差分...
ARIMA
ARIMA(p，d，q)模型全称为差分自回归移动平均模型(Autoregressive Integrated Mo...
2020 时序分析(8) 差分方差
今天我们了解一下差分方程，只有理解好了差分方程我们才能真正理解时间序列模型中平稳性时间序列时间模型的原理。所以有必...
用户体验的模型
关于用户体验，行业有多个经典定义模型，简单概述如下：蜂巢模型（Peter Morville）把产品设计的价值分...