1.2常用分布族

作者: 抄书侠 | 来源:发表于2020-03-05 08:23 被阅读0次

1.2常用分布族
模式识别与机器学习(三)——高斯分布基础
2. 数据的常用表示方法
泊松回归
分布分析
岁寒十二宫格键位的功能分区
花书《深度学习》《Deep Learning》学习笔记chapt
指数族分布|机器学习推导系列（九）
拍拍贷用户逾期数据分析sql
木东居士学习计划：第三周数据分布

本文将总结数理统计中常用的分布函数，从以下几个方面进行阐述：

密度函数式子
定义域
变量与图像关系
函数之间关系
物理意义
k阶矩
特征函数
特性

自行学会计算各种分布族的k阶矩,特征函数

将包括连续和离散两个部分，且会作出思维导图将多个函数之间的关系进行绘制.

连续型分布函数

Gamma分布

Gamma函数

$\Gamma(\alpha)=\int_{0}^{\infty} x^{a-1} e^{-x} d x, \quad \alpha>0$
为伽马函数，有如下性质：

$\Gamma(1)=1, \Gamma\left(\frac{1}{2}\right)=\sqrt{\pi}$
递推公式： $\Gamma(\alpha+1)=\alpha \Gamma(\alpha)$
$\int_{0}^{\infty} x^{a-1} e^{-\lambda x} d x=\Gamma(\alpha) / \lambda^{a}$

Gamma分布

密度函数式子
$p(x ; \alpha, \lambda)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x} I_{(0,+\infty)}(x),(\alpha>0, \lambda>0).$
定义域 $\left(0,+\infty\right)$
变量与图像关系： $\alpha$ 为形状参数, $\lambda$ 为尺度参数

image.png
函数之间关系：特别的，
$G a(1, \lambda)=\operatorname{Exp}(\lambda), \quad p(x ; \lambda)=\lambda e^{-\lambda x}, x>0$
$G a\left(\frac{n}{2}, \frac{1}{2}\right)=\chi^{2}(n), \quad p(x ; n)=\frac{1}{2^{n / 2} \Gamma(n / 2)} x^{n / 2-1} e^{-x / 2}, x>0$
物理意义：要等到n个随机事件都发生，需要经历多久时间
k阶矩：
$E Z^{k}= \frac{(\alpha+k-1)(\alpha+k-2) \cdots \alpha}{\lambda^{k}}$
特征函数：
$f(t)=E e^{i x t} \left(1-\frac{i t}{\lambda}\right)^{-\alpha}$
特性：可加性

Beta分布

Beta函数

$\beta(a, b)=\int_{0}^{1} x^{a-1}(1-x)^{b-1} d x, \quad a>0, \quad b>0$
贝塔函数性质：

$\beta(a, b)=\beta(b, a)$
贝塔和伽马的关系 $\beta(a, b)=\frac{\Gamma(a) \Gamma(b)}{\Gamma(a+b)}$

Beta分布

密度函数式子
$p(x ; \mathrm{a}, b)=\frac{1}{\mathrm{B}(a, b)} x^{a-1}(1-x)^{b-1} I_{(0,1)}(x),(\alpha>0, b>0)$
定义域 $(0,1)$
变量与图像关系：a,b都是形状参数且都为正

image.png
函数之间关系, $a=b=1$ 为 $(0,1)$ 上均匀分布
物理意义：不合格品率、机器维修率、打靶命中率、市场占有率选用贝塔分布是恰当的
k阶矩
$E Z^{k}= =\frac{(a+k-1)(a+k-2) \cdots a}{(a+b+k-1)(a+b+k-2) \cdots(a+b)}$
特征函数
特性

Fisher分布

密度函数式子
$p(x ; a, b)=\frac{1}{\mathrm{B}(a, b)} \frac{x^{a-1}}{(1+x)^{a+b}} I_{(0,+\infty)}(x),(\alpha>0, b>0)$
定义域 $(0,+\infty)$
变量与图像关系
函数之间关系

Fisher与Beta分布关系
若 $Z \sim \operatorname{Be}(a, b)$ ,则 $Y=\frac{Z}{1-Z} \sim Z(a, b)$ 。
若 $Z \sim Z(a, b)$ ，则 $Y=\frac{Z}{1+Z} \sim B e(a, b)$ .
Fisher与F分布的关系
设 $Z \sim Z\left(\frac{n_{1}}{2}, \frac{n_{2}}{2}\right)$ ,则 $Y=\frac{n_{2}}{n_{1}} Z \sim F\left(n_{1}, n_{2}\right)$

物理意义
k阶矩
$E Z^{k} =\frac{\mathrm{B}(a+k, b-k)}{\mathrm{B}(a, b)}, \quad(k<b)$
特征函数
特性

t分布

密度函数式子
$p(x ; \alpha)=\frac{\Gamma\left(\frac{\alpha+1}{2}\right)}{\sqrt{\alpha \pi} \Gamma\left(\frac{\alpha}{2}\right)}\left(1+\frac{x^{2}}{\alpha}\right)^{-\frac{\alpha+1}{2}}, \quad(\alpha>0)$
定义域
变量与图像关系
函数之间关系

t分布与标准正态分布之间的关系
$\lim _{\alpha \rightarrow \infty} p(x ; \alpha)=\phi(x)$
柯西分布
$p(x)=\frac{1}{\pi\left(1+x^{2}\right)}, \quad x \in R$

物理意义
k阶矩
$\mathrm{E} Z^{2 k+1}=0, \quad \alpha>2 k+1$
$\mathrm{E} Z^{2 k}=\frac{\alpha^{k}}{\sqrt{\pi}} \frac{\Gamma\left(\frac{\alpha}{2}-k\right) \Gamma\left(k+\frac{1}{2}\right)}{\Gamma\left(\frac{\alpha}{2}\right)} \quad \alpha>2 k$
特征函数
特性

多项分布族

$\begin{aligned} P\left\{X_{1}\right.&\left.=n_{1}, X_{2}=n_{2}, \cdots, X_{r}=n_{r}\right\}=C_{n}^{n_{1}} C_{n-n_{1}}^{n_{2}} \cdots C_{n_{r}}^{n_{r}} p_{1}^{n_{1}} p_{2}^{n_{2}} \cdots p_{r}^{n_{r}} \\ &=\frac{n !}{n_{1} ! n_{2} ! \cdots n_{r} !} p_{1}^{n_{1}} p_{2}^{n_{2}} \cdots p_{r}^{n_{r}}, \quad \sum_{i=1}^{i=r} n_{i}=n \end{aligned}$

多元正态分布族

考察随机变量 $\boldsymbol{X}=\left(X_{1}, \cdots, X_{n}\right)^{\prime}=\boldsymbol{\mu}+\boldsymbol{A} \boldsymbol{U}$
可求得 $X$ 的联合密度函数为
$p(\boldsymbol{x})=(2 \pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}} \mathrm{e}^{-\frac{1}{2}(x-\mu)^{\prime} \Sigma^{-1}(x-\mu)}, \quad x \in \mathbf{R}^{n}$
并且 $\mathrm{E}(X)=\mu, \operatorname{Var}(X)=\Sigma$ ，这时称 $X$ 服从期望向量为 $\mu$ ,协方差阵为 $\Sigma$ 的非奇多元正态分布,记为 $\boldsymbol{X} \sim N_{n}(\mu, \Sigma)$ .

进一步推广非奇多元正态分布到更一般的情形,即推广到协方差阵 $\Sigma$ 是非负定的情形，此时再用密度函数工具已经不行了(因为此时 $\Sigma^{-1}$ 不存在),因而我们要转用特征函数工具。为此我们先计算在 $\Sigma$ 为正定场合下多元非奇正态分布的特征函数，对任意的向量 $t=(t_1,\ldots,t_n)'$

离散型分布函数

二项分布

$P(X=x)=\left|\begin{array}{l} n \\ x \end{array}\right| p^{x}(1-p)^{n-x}, \quad x=0,1, \cdots, n$

泊松分布

用于近似二项分布，常用于 $n$ 大的情形
$\left(\begin{array}{l} n \\ x \end{array}\right) p_{n}^{x}\left(1-p_{n}\right)^{n-x} \doteq \frac{\lambda^{x}}{x !} e^{-\lambda}$

超几何分布

从有限个总体中进行不放回抽样通常会遇到超几何分布
$\begin{array}{c} P(X=x)=\frac{\left(\begin{array}{c} M \\ x \end{array}\right)\left(\begin{array}{c} N-M \\ n-x \end{array}\right)}{\left(\begin{array}{l} N \\ n \end{array}\right)} \\ \quad x=0,1, \cdots, r \end{array}$

1.2常用分布族
本文将总结数理统计中常用的分布函数，从以下几个方面进行阐述：密度函数式子定义域变量与图像关系函数之间关系 ...
模式识别与机器学习(三)——高斯分布基础
1.2中高斯分布基础高斯分布是概率论中最常用的概率分布之一，其概率密度函数如下高斯分布由两个参数控制，其中 ...
2. 数据的常用表示方法
1. 类别变量的常用表示： 1.1 指标：一般也就两种：频数分布、占比分布 1.2 图形展示：可以用直方图、帕累托...
泊松回归
广义线性模型是围绕指数分布族的，大多数分布都属于指数分布族，比如：Bernoulli伯努利分布、Gaussian高...
分布分析
【课程1.2】分布分析分布分析 → 研究数据的分布特征和分布类型，分定量数据、定性数据区分基本统计量极差 / ...
岁寒十二宫格键位的功能分区
键族的分布情况
花书《深度学习》《Deep Learning》学习笔记chapt
3.9 常用概率分布 3.9.1 Bernoulli 分布 Bernoulli分布 (Bernoulli dist...
指数族分布|机器学习推导系列（九）
一、介绍一般形式指数族分布有：高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、...
拍拍贷用户逾期数据分析sql
0 分析逾期情况 1 数据清洗 1.1 查看所有字段 1.2 查看年龄分布总结:1.客户年龄分布呈正偏态分布,客...
木东居士学习计划：第三周数据分布
常用的数据分布正态分布正态分布（英语：normal distribution）又名高斯分布（英语：Gaussia...