概率论（一）：概率论的基本概念

作者: 逸无无争 | 来源:发表于2020-08-06 20:42 被阅读0次

深度学习之路
概率论与数理统计笔记第一章概率论的基本概念
概率论（一）：概率论的基本概念
概率论中基本概念的理解
2019-02-28
做一名概率论者-读《随机漫步的傻瓜》
2018.6.7 【32】
先于概率
概率论基本概念
(二)总体上慨要理解统计__第二部分：经典统计

随机试验

将具有以下三个特点的试验称为随机试验：

可以在相同的条件下重复地进行
每次的试验结果可能不止一个，并且能事先明确试验的所有可能结果
进行一次试验之前不能确定哪一个结果会出现

如：我们将一枚硬币抛掷三次，观察正面 $H$ ，反面 $T$ 出现的情况。

样本空间及随机事件

样本空间

我们将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的样本空间，记为 $S$ 。样本空间的元素，称为样本点。如上述随机试验的样本空间S为： $S=\left \{ HHH,HHT,HTH,THH,HTT,THT,TTH,TTT \right \}$

随机事件

一般，我们称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
特别，由一个样本点组成的单点集，称为基本事件。例如上述试验有8个基本事件。样本空间本身就是一个随机事件，且每次试验总是发生， $S$ 称为必然事件；空集 $\varnothing$ 也是 $S$ 的子集，且每次试验都不发生， $\varnothing$ 称为不可能事件

事件间的关系与事件的运算

由定义知，事件即随机事件是一个集合，所以事件的有关操作等同于对应的集合操作。

包含" $\subset$ "： $A \subset B$ ，即事件 $B$ 包含事件 $A$
相等" $=$ "： $A=B\Leftrightarrow A\subset B$ 且 $B\subset A$ ，事件 $A$ 与事件 $B$ 相等
和" $\cup$ "： $A\cup B=\left \{ x|x\in A 或 x\in B \right \}$ ，事件 $A$ 与事件 $B$ 的和事件，当A与B中至少一个发生时，事件 $A\cup B$ 发生
积" $\cap$ "： $A\cap B=\left\{x|x\in A 且x\in B\right\}$ ，事件 $A$ 与事件 $B$ 的积事件，当A与B同时发生时，事件 $A\cap B$ （也记作AB）发生
差" $-$ "： $A-B=\left \{ x|x\in A且 x\notin B \right \}$ ，事件 $A$ 与事件 $B$ 的差事件，当A发生B不发生时，事件 $A-B$ 发生
互不相容事件： $A\cap B=\varnothing$ ，事件A与事件B不能同时发生
对立事件： $A\cup B=S且A\cap B=\varnothing$ ，事件A与事件B互为逆事件，也称互为对立事件。指每次试验中，事件A，B必有一个发生。

事件运算时，可以用以下定律

交换律： $A\cup B=B\cup A$ ; $A\cap B= B\cap A$
结合律： $A\cup (B\cup C)=(A\cup B)\cup C$ ; $A\cap (B\cap C)=(A\cap B)\cap C$
分配律： $A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$ ; $A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$
德摩根律： $\overline{A\cup B}=\overline{A}\cap \overline{B}$ ; $\overline{A\cap B}=\overline{A}\cup \overline{B}$

频率与概率

频率

假设同一个试验进行了n次，其中事件A发生的次数 $n_{A}$ 称为事件A发生的频数。比值 $n_{A}/n$ 就是事件A发生的频率，记作 $f_{n}(A)$
频率有以下基本性质：

$0\leqslant f_{n}(A) \leqslant 1$
$f_{n}(S)=1$
若 $A_{1},A_{2},\dots ,A_{k}$ 是两两互不相容的事件，则 $f(A_{1}\cup A_{2}\cup \dots \cup A_{k})=f_{n}(A_{1})+f_{n}(A_{2})+\dots +f_{n}(A_{k})$

概率

在一定条件下，重复做 $n$ 次试验， $n_{A}$ 为 $n$ 次试验中事件 $A$ 发生的次数，如果随着 $n$ 逐渐增大，频率 $n_{A}/n$ 逐渐稳定在某一数值 $p$ 附近，则数值 $p$ 称为事件 $A$ 在该条件下发生的概率，记做 $P(A)=p$ 。这个定义称为概率的统计定义。

$P(\varnothing)=0$
若 $A_{1},A_{2},\dots ,A_{k}$ 是两两互不相容的事件，则 $P(A_{1}\cup A_{2}\cup \dots \cup A_{k})=P_{n}(A_{1})+P_{n}(A_{2})+\dots +P_{n}(A_{k})$
设 $A$ , $B$ 是两个事件，若 $A\subset B$ ，则有 $P(B-A)=P(B)-P(A),P(B)\geqslant P(A)$
对于任一事件 $A$ , $P(A)\leqslant1$
对于任一事件 $A$ , $P(\overline{A})=1-P(A)$
对于任意两事件 $A$ 与 $B$ , $P(A\cup B)=P(A)+P(B)-P(AB)$

等可能概型（古典概型）

假设试验 $E$ 有以下特点：

试验的样本空间只包含有限个
试验中每个基本事件发生的可能性相同

则称试验为等可能概型（古典概型）

条件概率

设 $A$ , $B$ 是两个事件，且 $P(A)>0$ ,称 $P(B|A)=\frac{P(AB)}{P(A)}$ 为在事件 $A$ 发生的条件下事件 $B$ 发生的条件概率

$P(A)>0$ ,有 $P(AB)=P(B|A)P(A)$

全概率公式：设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_{1},B_{2},\dots ,B_{n}$ 为 $S$ 的一个划分，且 $P(B_{i})>0$ ，则 $P(A)=P(A|B_{1})P(B_{1})+P(A|B_{2})P(B_{2})+\dots +P(A|B_{n})P(B_{n})$

贝叶斯公式：设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_{1},B_{2},\dots ,B_{n}$ 为 $S$ 的一个划分，且 $P(B_{i})>0$ ， $P(A)>0$ ，则 $P(B_{i}|A)=\frac{P(A|B_{i})P(B_{i})}{\sum_{j=1}^{n}P(A|B_{j})P(B_{j})}$

独立性

设 $A$ , $B$ 是两事件，如果满足等式 $P(AB)=P(A)P(B)$ ,则称事件 $A$ , $B$ 相互独立，简称独立。

设 $A$ , $B$ 是两事件，且 $P(A)>0$ ,若 $A$ , $B$ 相互独立，则 $P(B|A)=P(B)$ ，反之亦然。
若事件 $A$ , $B$ 相互独立，则下列各事件也相互独立： $A$ 与 $\overline{B}$ , $\overline{A}$ 与 $B$ , $\overline{A}$ 与 $\overline{B}$ 。