概率导论第一章笔记

cldfd 2020-03-24 in math

概率模型的基本构成

概率模型是对不确定现象的数学描述

样本空间 $\Omega$ ,这是一个试验的所有可能结果的集合。
概率律 概率律为 试验结果的集合$A$(称为事件)确定一个非负数$P(A)$(称为事件$A$的概率)，这个非负数刻画了我们对事件$A$的认识。概率律可以看作映射$P:powerset(\Omega)\rightarrow R$

样本空间与事件

每一个概率模型都关联着一次试验，这个试验将产生一次试验结果，该试验的所有可能结果形成样本空间。样本空间的子集，即某些试验结果的集合，称为事件。(一个试验由什么组成并没有什么限制)

确定样本空间的时候，不同的试验结果必须是相互排斥的，这样，在试验过程中只可能产生唯一的一个结果。(还有：建立样本空间时要有足够的细节区分我们感兴趣的事件，同时避免不必要的繁琐)

本文章默认使用$\Omega$表示样本空间

概率律

假定我们已经确定了样本空间$\Omega$以及与之联系的试验。为了建立一个概率模型，下一步就是确定概率律。概率律要满足一些性质：

非负性: $\forall A \in powerset(\Omega),P(A) \geq 0$
可加性: $A \cap B = \varnothing \Rightarrow P(A \cup B) = P(A) + P(B)$
归一化: $P(\Omega)=1$

$1 = P(\Omega \cup \varnothing) = P(\Omega) + P(\varnothing)=1\Rightarrow P(\varnothing)=0$

离散概率率

设样本空间由有限个可能的结果组成，则事件的概率可以由组成这个事件的试验结果的概率所决定。

$P(\{s_1,s_2,\dotsc, s_n\})=P(\{s_1\})+P(\{s_2\})+\dotsb+P(\{s_n\})$其中$S_i$为一个可能的试验结果。

离散均匀概率律

设样本空间由$n$个等可能性的试验结果组成(不妨设样本空间$\Omega = \{s_1,s_2,\dotsc,s_n\}$)，因此每个试验结果组成的事件(称为基本事件)的概率相等，即$P(\{s_i\})=\dfrac{1}{n}$(此处$i=1,2,\dotsc ,n$)

概率律的性质

考虑一个概率律，$A,B,C$为事件。

$A\subset B \Rightarrow P(A) \leq P(B)$
$P(A \cup B) = P(A)+P(B)-P(A \cap B)$
$P(A\cup B \cup C)=P(A)+P(A^c\cap B)+P(A^c \cap B^c \cap C)$

条件概率

给定一个试验与这个试验对应的样本空间和概率律，假定我们已经知道给定的事件$B$发生了，希望知道另一个给定的事件$X$发生的可能性。因此，我们可以从原有的概率律$P(X)$构造一个新的概率律$P(X|B)$，它顾及了事件$B$发生的信息，可以求出任意事件$X$发生的概率。这个概率就是给定$B$发生之下事件$X$的条件概率。

条件概率定义：

这个定义可以由一些简单情况推广得到。

$P(A|B)=\dfrac{P(A\cap B)}{P(B)}$ 其中假定$P(B)>0$，若$P(B)=0$，相应的条件概率暂时没有定义。容易证明条件概率是一个概率律。

对于事件$A_1,A_2,A_3,\dotsc ,A_n$(其中$P(A_i)>0$) 易得到

$$ P(\bigcap^{n}_{i=1} A_i)=P(A_1)P(A_2|A_1)P(A_3|A_1\cap |A_2)\dotsm P(An|\bigcap^{n-1}{i=1} Ai) $$

全概率定理

设$A_1,A_2,\dotsc,A_n$互不相容(即$\forall 1\leq i,j\leq n,A_i \cap A_j = \varnothing$) 形成样本空间的一个分割(互不相容且$\bigcup^{n}_{i=1} A_i=\Omega$)

若$\forall 1\leq i\leq n,P(A_i)>0$则对于任意事件$X$，有

$$ P(X)= \sum^{n}_{i=1} P(A_i\cap X)=\sum^{n}_{i=1} P(A_i)P(X|A_i)$$

贝叶斯准则

设$A_1,A_2,\dotsc,A_n$互不相容(即$\forall 1\leq i,j\leq n,A_i \cap A_j = \varnothing$) 形成样本空间的一个分割(互不相容且$\bigcup^{n}_{i=1} A_i=\Omega$)

若$\forall 1\leq i\leq n,P(A_i)>0$则对于任意事件$X$满足$P(X)>0$，有

$P(X)P(A_i|X)=P(A_i)P(X|A_i)$

若$P(X)>0$，则有

$$ \begin{aligned}

P(A_i|X) & = \dfrac{P(A_i)P(X|A_i)}{P(X)}\ & = \dfrac {P(A_i)P(X|Ai)} {\sum^{n}{i=1} P(A_i)P(X|A_i)} \end{aligned} $$

独立性

相互独立

条件概率中有趣的情况：事件$B$的发生没有给事件$A$带来新的信息，即$P(A|B)=P(A)$。

这种情况我们可以说事件$A$是独立于事件$B$的。由条件概率的定义，$P(A\cap B)=P(A)P(B)$蕴含着$P(A|B)=P(A)$。我们将$P(A\cap B)=P(A)P(B)$作为事件$A,B$相互独立的正式定义，因为它包含了$P(B)=0$的情况。在这个关系中$A$独立于$B$蕴含着$B$独立于$A$，所以称为相互独立。

条件独立

在给定发生某事件$C$的条件下，可以构造一个新的概率律P(X|C)，所以我们可以考虑条件概率律下的独立性。

若$P(A\cap B|C)=P(A|C)P(B|C)$，则称$A$和$B$在给定条件$C$下条件独立。

$A,B$两个事件相互独立不一定意味着条件独立，反之亦然。

例：考虑抛2次质地均匀的硬币，这个试验的4种结果都是等可能的(分别记为$1,2,3,4$)。

设事件$A=\{1,2\},B={1,3},C={2,3}$

显然有$P(A)P(B)=P(A\cap B)$，

$P(A\cap B|C)=0\neq P(A|C)P(B|C)$

即事件$A$和$B$相互独立但不在给定$C$下条件独立。

一组事件的独立性

独立性的定义可以拓展到$n$个事件的情况。

设$A_1,A_2,\dotsc,A_n$为$n$个事件，若他们满足

$$\forall i\subset \{1,2,\dotsc,n\},P(\bigcap_{i\in S})=\prod_{i\in S} P(A_i)$$

则称$A_1,A_2,\dotsc,A_n$为相互独立的事件。

容易举例证明一组事件两两独立并不包含相互独立。

独立性意味着把一组事件任意分成两个小组，一个小组的任意个数事件的出现与不出现都不会影响到另一个小组中事件的概率。 (也就是不会带来另一个小组中的事件的任何有影响的信息)

计数方法

计数准则

考虑$r$个阶段组成的一个试验，假设：

在第一阶段有$n_1$个可能的结果。

对于第$i$个阶段的任何一个结果($1\leq i
则在$r$个阶段的试验中一共有$\prod^{r}_{i=1}n_i$个结果。

排列

用计数准则可以得到

从$n$个不同对象有序地选取$k$个不同对象的方法数为

$$ n(n-1)\dotsm (n-k+1) =\dfrac{n!}{(n-k)!} $$

共有$k$个阶段，选择第$i$个对象时(第$i$阶段)，

有剩下的$n-(i-1)$个对象可供选择，利用计数准则可得上式。

这种序列称为$n$取$k$的排列数，记作$A^k_n$。

当$k=n$时，简称为排列，此时所有可能的序列数为$n!$。

组合

在$n$个对象中取$k$个对象的组合 (即给定$n$个元素的集合，取有$k$个元素的子集。)中，每一个组合对应了$k!$个不同的排列。

因此从$n$个元素选$k$个元素的组合数(又叫二项式系数)为

$$C^k_n=\dfrac{n!}{(k!)(n-k)!}=\binom{n}{k}$$

分划

可以将组合看成是从$n$个元素集合选出一个元素个数为$k$的子集，因此可以将一个组合看成将集合分成$2$个子集的一个分划。现在我们考虑把一个集合分为多于$2$个子集的分划。

给定一个元素为$n$的集合，设$n1,n2,\dotsc,n_r$为非负整数，且$\sum^{r}_{i=1}n_i=n$。现考虑将有$n$个元素的集合分为$r$个子集，使得第$i$个子集的元素个数为$n_i$，求共有多少种分解方法。

分阶段每次确定一个子集，有$\binom{n}{n_1}$种方法确定第一个子集，当第一个子集确定后，有剩余$n-n_1$个元素用于确定第二个子集，故有$\binom{n-n_1}{n_2}$种方法确定第二个子集。以此类推，并对$r$个阶段的选择过程利用计数准则，得到的总选择方法数为

$$ \begin{aligned}

&\binom{n}{n_1}\binom{n-n_1}{n_2}\binom{n-n_1-n_2}{n_3} \dotsm\binom{n-n1-\dotsm-n{r-1}}{n_r} \ &=\dfrac{n!}{n_1!(n-n_1)!}\dfrac{(n-n_1)!}{n_2!(n-n_1-n_2)!} \dotsm \dfrac{(n-n1-\dotsm-n{r-1})!}{n_r!(n-n1-\dotsm-n{r-1}-n_r)!} \ &=\dfrac{n!}{n_1!n_2!\dotsm n_r!} \end{aligned} $$

这个数称为多项式系数，用下列记号表示：

$$ \binom{n}{n_1,n_2,\dotsm,n_r} $$