时间序列-1-随机变量，收敛定理

作者: 蒋子义 | 来源:发表于2020-03-16 19:14 被阅读0次

时间序列-1-随机变量，收敛定理
Chapter5—大数定理与中心极限
随机收敛
1.27阅读笔记之一——《应用时间序列分析》
大数定律
依分布收敛的定义细节
EM算法推导
概率论（五）：大数定律及中心极限定理
服从Gaussian分布的近似随机数生成算法
中心极限定理的最最通俗解释

Probability Space

$(\Omega,\mathcal{F}, \mathbb{P})$
Here $\Omega$ is a set and $\mathcal{F}$ is a $\sigma$ -algebra (of subsets of $X$ ) which satisfies:

$\phi \in \mathcal{F}$
$E \in \mathcal{F} \Rightarrow E^x \in \mathcal{F}$
$E_1, E_2, .., \in \mathcal{F}\Rightarrow\bigcup_{n=1}^{\infty}E_n \in\mathcal{F}$

$\mathbb{P}$ is a function satisfies:

$\mathbb{P}: \mathcal{F} \rightarrow [0,1]$
$\mathbb{P}(\phi) = 0$
$\mathbb{P}$ is countable additive

Remark:

the sequence of $(\Omega,\mathcal{F}, \mathbb{P})$ is : $\Omega \Rightarrow \mathcal{F}\Rightarrow\mathbb{P}$
the difference between Probability measure and general measure is $\forall A \in \mathcal{F}, \mathbb{P}(A)$ is bounded

Random variable and measurable function

A function $X$ : $\Omega\rightarrow\mathbb{R}$ is called a random variable if for every $x\in\mathbb{R}$ , the preimage $\{ X\le x \}$ = $X^{-1}((-\infty,x])$ is an event (belongs to the sigma-field $\mathcal{F}$ ).

Remark:

$\mathbb{P}(|X|=\infty)=0$ . If $\mathbb{P}(|X|=\infty)>0$ , it is a generalized random variable(or random map).

Lebesgue's montone convergence theorem

If $X_n$ is a sequence of nonnegative random variadble such that $X_n \le X_{n+1}$ and $X_n \rightarrow X$ a.s. Then
$EX_n \rightarrow EX$

Remark

Since $X_n$ is montonic, it is guaranteed to exist a generalized random variable $X$ that $X_n \rightarrow X$ a.s. It works for the situation that $X$ is a generalized random variable
The montone of $X_n$ guarantees that $EX$ exists(maybe $\infty$ )
Proof:
1. $EX_n\le EX$ due to $X_n \le X$ a.s.
2. $EX_n\ge EX - \epsilon$ by using a simple random variable $Z$ controled by $X$ . Prove $\lim_n EX_n \le Z\alpha$ , $\alpha$ is any number less than 1.

Fatou's lemma

If $X_1, X_2,...,X_n$ are nonnegative random variables, then
$E\liminf_{n\rightarrow\infty}X_n \le \liminf_{n\rightarrow\infty}EX_n$

proof: let $Y_n=\inf_{k \ge n}X_k$ . $EY_n \rightarrow E\liminf_{n\rightarrow\infty}X_n \le \liminf_{n\rightarrow\infty}EX_n$

Lebesgue's dominated convergence theorem

IF $\{X_n\}$ is a sequence of random variable, $X_n \rightarrow X$ a.s. and there exists an intergrable random $Y$ such that $|X_n| \le Y$ , then
$E|X_n-X|\rightarrow 0$

proof: Using Fatou's lemma for $Z_n = 2Y-|X_n-X|$

Different type of convergence

convergence in distribution

convergence in probability

convergence a.s.

$L^p$ convergence

Remark

$\begin{aligned} (4) &\Rightarrow (2)\\ (3) &\Rightarrow (2)\\ (2) &\Rightarrow (1)\\ L^p &\Rightarrow L^q (p>q) \end{aligned}$

时间序列-1-随机变量，收敛定理
Probability Space Here is a set and is a -algebra (of s...
Chapter5—大数定理与中心极限
大数定理是研究随机变量序列的算术平均的收敛性问题；而中心极限定理是研究随机变量有限和的分布函数的收敛性问题。注意...
随机收敛
1.随机性序列的收敛 2.随机序列的收敛依概率收敛利用随机变量依概率收敛于常数的概念，可定义随机变量之间的随机...
1.27阅读笔记之一——《应用时间序列分析》
书名：应用时间序列分析阅读目的：时间序列分析到底有什么用？ 23时间序列的分解 45正态时间序列和随机变量的收敛...
大数定律
不懂大数定律等于没学过概率统计！弱大数定理随机变量相互独立，服从同一分布，则其序列的平均值依概率收敛于数学期望...
依分布收敛的定义细节
1 定义依分布收敛的定义是这样的：随机变量序列，若它们的累积分布函数cdf序列，与某个随机变量的cdf ，满足在...
EM算法推导
推导EM算法，并证明收敛性。 Jensen’s inequality 定理：若是凸函数，是随机变量，我们有：若是...
概率论（五）：大数定律及中心极限定理
大数定律弱大数定理（辛钦大数定理）设是相互独立，服从同一分布的随机变量序列，。前个变量的算术平均，则对于任意,...
服从Gaussian分布的近似随机数生成算法
中心极限定理是概率论中的一组定理，研究的是大量相互独立的随机变量之和在什么样的条件下会收敛于正态分布。我们利用林德...
中心极限定理的最最通俗解释
一、什么是中心极限定理在适当的条件下，大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布。每次从这些总...