随机变量之和的概率分布：卷积定理的简单应用

作者: 虚胖一场 | 来源:发表于2020-04-21 16:48 被阅读0次

随机变量之和的概率分布：卷积定理的简单应用
概率论概念列举
2018-06-25
145、Python实现概率分布
Python实现概率分布
2019-10-23
可计算的估计量
商务与经济统计第五章笔记
概率和数理统计
概率论

本文链接：个人站 | 简书 | CSDN
版权声明：除特别声明外，本博客文章均采用 BY-NC-SA 许可协议。转载请注明出处。

我们在《一个最大化条件概率问题》一文中提到，为了满足商品采购业务的需要，我们首先预测每一天的需求所服从的概率分布，然后计算若干天总需求所服从的概率分布。那么，如何将日需求的分布转化为总需求的分布呢？

方法

考虑一组独立的随机变量 $X_1, X_2, \cdots, X_n$ ，令
$S_n=\sum_{i=1}^{n} X_i$
则
$S_n = S_{n-1} + X_n$
也就是说，多个随机变量的和总可以还原回两个随机变量的和的情况。因此，我们只需要知道如何计算两个随机变量的和的分布就可以了。

假设 $X$ 和 $Y$ 是两个独立的随机变量，令 $Z=X+Y$ 。

若 $X$ 和 $Y$ 是离散型随机变量，则 $Z$ 的概率质量函数为 $X$ 的概率质量函数与 $Y$ 的概率质量函数的离散卷积：
$P(Z=z) = \sum_{k=-\infty}^{+\infty}P(X=k)\cdot P(Y=z-k)$
若 $X$ 和 $Y$ 是连续型随机变量，则 $Z$ 的概率密度函数为 $X$ 的概率密度函数与 $Y$ 的概率密度函数的卷积：
$f_Z(z) = \int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)\mathrm dx\equiv f_X*f_Y$

卷积怎么算呢？根据定义直接算，可以，但没必要。复习一下卷积定理：

函数卷积的傅里叶变换是函数傅里叶变换的乘积。

对于离散型随机变量，我们只需要用 FFT 算法计算 $X$ 和 $Y$ 的概率质量函数的离散傅里叶变换，然后作乘积，再作一次逆变换，即可求得 $Z$ 的概率质量函数。对于连续型随机变量，则可以先离散化，然后用上述方法近似求解 $Z$ 的概率密度函数。

作为调包工程师，我们直接调用 scipy.signal.fftconvolve 实现来上述操作。

例子

我们来验证一下。

假设 $X\sim N(30, 10^2)$ ， $Y\sim N(60, 5^2)$ ，则 $Z\sim N(90, 10^2+5^2)$ 。

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
from scipy.signal import fftconvolve

x = norm.pdf(np.arange(100), loc=30, scale=10)
y = norm.pdf(np.arange(100), loc=60, scale=5)
z = norm.pdf(np.arange(200), loc=90, scale=np.sqrt(125))
z_tilde = fftconvolve(x, y)

plt.subplot(121)
plt.plot(x, color='b', label='pdf of X')
plt.plot(y, color='g', label='pdf of Y')
plt.legend()
plt.subplot(122)
plt.plot(z, color='r', label='analytical pdf of Z')
plt.plot(z_tilde, color='y', label='numerical pdf of Z')
plt.legend()
plt.show()

正态分布之和

再看一个例子。

考虑一组独立的随机变量 $X_1, X_2, \cdots, X_{100}$ ，满足 $X_i\sim Bernoulli(0.3)$ ，即每个 $X_i$ 均服从成功概率 $p=0.3$ 的伯努利分布。令 $Z=X_1+X_2+\cdots+X_{100}$ ，即 $Z$ 是 100 次独立重复试验中成功的次数。根据定义， $Z$ 服从二项分布。

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import binom
from scipy.signal import fftconvolve
from functools import reduce

xs = [[0.7, 0.3] for _ in range(100)]
z = binom.pmf(np.arange(100), n=100, p=0.3)
z_tilde = reduce(fftconvolve, xs)

plt.plot(z, label='analytical pmf of Z')
plt.plot(z_tilde, label='numerical pmf of Z')
plt.legend()
plt.show()

伯努利分布之和

最后看看实际计算总需求时的效果：

从日需求到总需求

附录

附上卷积定理的简单推导：

考虑函数 $f(t)$ 和 $g(t)$ ，以及它们的卷积 $h=f*g$ 。 $f(t)$ 和 $g(t)$ 的傅里叶变换分别为
$\hat f(\omega) = \int_{-\infty}^{+\infty}f(t)\mathrm e^{-i\omega t}\mathrm dt$
$\hat g(\omega) = \int_{-\infty}^{+\infty}g(t)\mathrm e^{-i\omega t}\mathrm dt$
而 $h(t)$ 的傅里叶变换为
$\begin{aligned} \hat h(\omega) &= \int_{-\infty}^{+\infty}h(t)\mathrm e^{-i\omega t}\mathrm dt\\ &= \int_{-\infty}^{+\infty}\left[\int_{-\infty}^{+\infty}f(\tau)g(t-\tau)\mathrm d\tau\right]\mathrm e^{-i\omega t}\mathrm dt\\ &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\tau)g(t-\tau)e^{-i\omega t}\mathrm dt\mathrm d\tau \end{aligned}$
令 $s=t-\tau$ ，则 $\mathrm ds = \mathrm dt$ ，
$\begin{aligned} \hat h(\omega) & = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(\tau)g(s)e^{-i\omega (\tau+s)}\mathrm ds\mathrm d\tau\\ &= \int_{-\infty}^{+\infty}f(\tau)e^{-i\omega \tau}\mathrm d\tau\int_{-\infty}^{+\infty}g(s)e^{-i\omega s}\mathrm ds\\ &=\hat f(\omega)\cdot\hat g(\omega) \end{aligned}$

参考文献

Convolution - Wikipedia

随机变量之和的概率分布：卷积定理的简单应用
本文链接：个人站 | 简书 | CSDN版权声明：除特别声明外，本博客文章均采用 BY-NC-SA 许可协议。转载...
概率论概念列举
一、随机变量及其分布 1、随机变量、概率 2、离散型随机变量，分布率， 3、概率：（1）逆事件（2）概率的加法...
2018-06-25
客观概率不断的重复采样主观概率贝叶斯概率贝叶斯公式（重要）随机变量随机变量概率分布二项式的随机变量分布 ...
145、Python实现概率分布
一、概率分布概率分布，是概率论的基本概念之一，主要用以表述随机变量取值的概率规律。为了使用的方便，根据随机变量所属...
Python实现概率分布
概率分布基础概率分布，是概率论大的基本概念之一，主要用以表述随机变量取值的概率规律。为了使用的方便，根据随机变量...
2019-10-23
1.6 多维随机变量及其分布： 1.6.1 离散型多维随机变量：随着科学的发现和概率统计应用的不断推广，在有些随...
可计算的估计量
满足Le Cam卷积定理前提的概率分布族称为正规参数族（Regular parametric family），囊...
商务与经济统计第五章笔记
离散型概率分布 1、随机变量随机变量分为离散型和连续型。 2、离散型概率分布 1）离散型随机变量的数学期望 2）...
概率和数理统计
1. 事件的关系与运算 2. 概率的基本公式 3. 事件的独立性 4. 随机变量及其概率分布随机变量及概率分布：...
概率论
注：采转归档，自己学习查询使用计数概率公理条件概率随机变量离散分布连续分布联合分布随机变量的函数期望方差与标准差...