概率学

排列与组合

加法原理

做一件事,完成它可以有 $n$ 类方法, 在第一类方法中有 $m_1$ 种不同方法. 在第二类方法中有 $m_2$ 种不同方法…在第 $n$ 类方法中有 $m_n$ 种不同方法. 那么完成这件事共有 $\sum_{n=1}^n m_n$ 种方法

乘法原理

做一件事,完成它需要分成 $n$ 个步骤, 做第一步有 $m_1$ 种不同方法. 做第二步有 $m_2$ 种不同方法…做第 $n$ 步有 $m_n$ 种不同方法. 那么完成这件事共有 $m_1 \times m_2 \times … \times m_n$ 种方法

不可重复排列

从 $n$ 个不同元素中任取 $m$ 个 $(1 \le m \le n)$ 不同的元素, 按顺序排成一列: 记作 $P_n^m$ 或者 $A_n^m$

1. 选排列: $m<n$ 则 $P_n^m$ 或 $A_n^m = n(n-1)(n-2)…(n-m+1)$
2. 全排列: $m=n$ 则 $P_n^n$ 或 $A_n^n = n(n-1)(n-2)…2 \times 1$ , 即 $n!$

例:

$$ P_5^3 = 5 \times 4 \times 3 $$$$ P_3^3 = 3 \times 2 \times 1 $$

可重复排列

从 $n$ 个不同的元素中有放回地取 $m$ 个元素, 按顺序排列: $n^m$

例:

从 $1,2,3$ 中任取3个数, 观察后放回, 重复三次. 共有 $3^3$ 种可能

• 选出的一组元素若需要讲顺序即为排列. 不讲顺序即为组合

组合

从 $n$ 个不同元素中取出 $m$ 个不同元素, 不管顺序构成一组, 记作 $C_n^m = \frac{P_n^m}{m!} = \frac{n(n-1)(n-2)…(n-m+1)}{m!}$

例:

$$ C_5^2 = \frac{5 \times 4}{2!} $$$$ C_5^3= \frac{5 \times 4 \times 3}{3!} $$

• 规定 $0!=1$

随机试验与随机事件

随机实验

诸如扔硬币, 投骰子这类事件满足:

1. 可重复性: 试验可以在相同的事件下重复进行;
2. 多结果性: 每次试验都有多个可能的结果(不唯一), 并在试验之前能够明确所有可能的结果;
3. 不确定性: 在每次试验之前不能确定哪一个结果会出现

上述3个特点的试验称为随机试验(简称试验), 用 $E$ 来表示

将试验 $E$ 的所有可能结果组成的集合称为 $E$ 的样本空间. 记作 $\Omega$ (或者 $S$). 样本空间的元素(即 $E$ 的每一个可能的结果)称为样本点. 记作 $\omega$

随机事件

事件 $A$ 发生: 属于 $A$ 的任一样本点出现

基本事件: 一个样本点组成的集合(单点集)

必然事件: 每次实验必须发生, 即样本空间 $\omega$

不可能事件: 每次试验都不会发生, 记作 $\varnothing$ (空集)

事件与集合

1. 包含 $A\subset B$ : $A$ 发生必然导致 $B$ 发生 要证明 $A\Leftrightarrow B$, 可以先证明 $A\subset B \cup B\subset A$

2. 并(和) $A\cup B (A+B)$ : $A$ 或 $B$ 至少有一个发生: (有 <1> $A \cup B \supset A$; <2> $A+A=A$; <3> $A+\Omega = \Omega$)

3. 交(积) $A \cap B$ (AB) : $A$ 和 $B$ 同时发生: (有 <1> $AB \subset A$; <2> $AA=A$; <3> $A\varnothing = \varnothing$; <4> $A \cap B \subset A \subset A \cup B \subset \Omega$)

4. **差 $A-B \Leftrightarrow A-AB$ : ** $A$ 发生而 $B$ 不发生

5. 互斥(互不相容) $AB= \varnothing$ : $AB$ 不能同时发生: (有 $A_1A_2…A_n$ 两两互不相容, 则 $A_iA_j=\varnothing$)

6. 对立事件: $A \cup B = \Omega$ , 且 $A \cap B = \varnothing$

   $A$ 的对立事件 $\bar{A}$ :

   $$ \bar{A} = \Omega - A $$$$ A \bar{A} = \varnothing $$$$ \bar{\bar{A}} = A $$

互不相容与对立

1. $AB$ 对立 $\Rightarrow $ $AB$ 互不相容, 反之无法推出
2. 对立适用于2个事件, 而互不相容适用多个事件
3. 若 $AB$ 互斥无法推出 $\bar{A}$ 与 $\bar{B}$ 相容(或是不相容); 但若 $AB$ 对立则有 $\bar{A}(B)$ 与 $\bar{B}(A)$ 对立

事件的运算律

1. 交换律: $A \cup B = B \cup A ; \ A \cap B = B \cap A$
2. 结合律: $(A \cup B) \cup C = A \cup (B \cup C); \ (A \cap B) \cap C = A \cap (B \cap C)$
3. 分配律: $(A \cup B) \cap C = (A \cap C) \cup (B \cap C); \ (A \cap B) \cup C = (A \cup C) \cap (B \cup C)$
4. 对偶律(德摩根律): $\overline{{A \cup B}} = \bar A \cap \bar B$

对偶律可以使用 长线变短线, 符号要变换 来记忆

频率与概率

频率: 事件发生的次数 除以 试验次数 即为事件的频率

频率的稳定性: 试验次数越多越接近某一常数

概率的定义: 假设 $E$ 为一个随机试验, $\Omega$ 是其样本空间, 此时对于他的任意事件 $A$ 都对应了一个实数, 纪做 $P(A)$. 叫做这个事件 $A$ 的概率

集合函数 $P()$ 满足一下条件:

1. 非负性 $P(A) \ge 0$
2. 规范性 $\Omega, P(A) = 1$
3. 可列可加性 设 $A_1 A_2 … A_n$ 两两互不相容. 则 $P(\sum_{i=1}^\infty A_i) = \sum_{i=1}^\infty P(A_i)$

概率的性质

1. $P(\varnothing) = 0$, 不可能事件的概率为0, 反之不成立 $P(A)=0$ 无法推出 $A=\varnothing$. 概率为0的事件也有可能发生
2. 有限可加性 设 $A_1 A_2 … A_n$ 互不相容. 则 $P(\sum_{i=1}^\infty A_i) = \sum_{i=1}^\infty P(A_i)$ 也就是说 $AB$ 互不相容可以推出 $P(A+B) = P(A) + P(B)$. 反之不成立
3. $P(A + B) = P(A \cup B) = P(A) + P(B) - P(AB)$ 推广: $P(A+B+C) = P(A)+P(B)+P(C) - P(AB) - P(AC) - P(BC) + P(ABC)$
4. $P(\bar{A}) = 1 - P(A)$ $P(A) + P(\bar{A}) = 1$
5. 减法公式: 若 $A \supset B$, 则 $P(A-B) = P(A) - P(B)$, 且 $P(A) \ge P(B)$ 推广: 对于任意的 $AB$ 都有 $P(A-B) = P(A) - P(AB)$
6. $P(A \cup B) = P(A) + P(B) - P(AB)$
7. 如果 $AB$ 互斥 $\Rightarrow P(AB) = P(\varnothing) = 0$

古典概型(等可能模型)

若一个试验满足:

1. 试验结果的个数是有限的(有限个样本点)
2. 每个样本点出现的可能性相同(等可能性)

则称该试验模型为古典概型

古典概型的概率如下:

$$ P(A) = \frac mn $$

其中 $m$ 为 $A$ 中样本点的个数 $n$ 为 $\Omega$ 样本点的个数

条件概率

设实验 $E$ 的d样本空间为 $\Omega$, $AB$ 是两个事件, 且 $P(A) > 0$, 在 $A$ 已经发生的条件下 $B$ 发生的概率. 称为 $B$ 对 $A$ 的条件概率. 记作 $P(B|A)$

推导: $P(B|A) = \frac{P(AB)}{P(B)}$

公理

1. 非负性 $P(B|A) \ge 0$
2. 规范性 $P(\Omega | A) = 1$
3. 可列可加性 设 $B_1 B_2 … B_i$ 两两互不相容, 则 $P(\sum_{i=1}^{\infty} B_i | A) = \sum_{i=1}^{\infty} P(B_i | A)$

性质

1. $P(\varnothing | A) = 0$
2. $P(B_1 \cup B_2 | A) = P(B_1|A) + P(B_2 | A) - P(B_1B_2 | A)$
3. $P(B|A) = P(\bar{B}|A)=1$

乘法公式

由条件概率公式可以得出:

有 $P(ABC) = P(A)P(B|A)P(C|AB), \ P(AB)>0, P(A)>0$ 该式求逆也成立

全概率公式

设定 $A_1A_2 … A_n$ 是试验 $E$ 的一个完备事件组, 且 $P(A_i)>0$, 则对于任意的事件 $B$, 有 $P(B)=P(A_1)P(B|A_1)+P(A_2)P(P|A_2)+ … + P(A_n)P(B|A_n)$. 特别的, 若 $A_1A_2 … A_n$ 两两互斥, 则 $\sum_{n=1}^n A_i \supset B$

事件的独立性

如果 $P(A)>0$, 且 $P(B|A)=P(B)$, 就称 $B$ 对 $A$ 独立, 反之不一定

相互独立: 若 $P(B|A)=P(B)$ 且 $P(A|B)= P(A)$, 则称 $AB$ 相互独立, 也可以说: 设 $P(A) > 0, P(B)>0$, 则 $AB$ 相互独立是 $P(AB)=P(A)P(B)$ 的充要条件

特别的, 当 $P(A)=0$ 或 $P(B) = 0$, 则 $P(AB) = P(A)P(B)$

设 $AB$ 为随机事件, 若 $P(AB) = P(A)P(B)$, 则称 $AB$ 相互独立. 另有 $\varnothing$ 与任意事件 $A$ 独立, $P(\varnothing) = 0$; 另有 $\Omega$ 与 $A$ 相互独立, $P(\Omega A)=P(A) = P(\Omega)P(A) = 1 - P(A) = P(A)$

性质a

设 $AB$ 相互独立, 则 $A$ 与 $\bar{B}$, $\bar{A}$ 与 $B$, $\bar{A}$ 与 $\bar{B}$ 也相互独立

如果 $P(A)=1$, 则 $A$ 与 $B$ 独立

多个事件的独立性

1. $$ P(BC)=P(B)P(C) $$
2. $$ P(BA)=P(A)P(AB) $$
3. $$ P(AC)=P(A)P(C) $$
4. $$ P(ABC)=P(A)P(B)P(C) $$

其中满足 1, 2, 3 为 $ABC$ 两两独立, 而满足 1, 2, 3, 4 为 $ABC$ 相互独立

一维随机变量及其分布

随机变量

如果随机试验 $E$ 它的样本空间 $\Omega$ 是一个集合, 并且对于任意的 $\omega$ 都对应一个 $X(\omega), \ X(\omega) \in R$, 就称 $X$ 为一个随机变量

而这个事件的概率是

离散型随机变量及其分布律

概率分布(分布律)

随机变量 $X=x_k$ 的概率 $P{X=x_k} = P_k, \ k\in N^+$ 而 ${X=X_1}{X=X_2}…$ 是一个完备事件组(即两两互斥). 满足:

1. $P_k \ge 0$
2. $\sum_{k=1}^\infty P_k = 1$

设已知 $X$ 的分布律, 则 $P{X \in I } = \sum_{x_k \in I} P{X=x_k}$

分布函数

设 $X$ 是一个随机变量, $F(x) = P{X = x}, \ x \in (- \infty, \ + \infty)$ 其中 $x$ 为变量

性质

1. $0 \le F(x) \le 1$, 并且 $F(- \infty) = 0 = P{X \le - \infty}, \ F(+ \infty) = P{X \le + \infty } = 1$
2. $F(x)$ 是一个不减函数, 则 $\forall \ x_1 < x_2$ , 都有 $F(x_1) \le F(x_2)$
3. $F(x)$ 右连续, 即 $F(x + 0) = F(x)$

$$ a < b: P\{A< X \le b \} = F(b) - F(a) = P\{X \le b \} - P\{x \le a\} $$$$ P\{X > a \} = 1 - P\{X \le a \} = 1 - F(a) $$$$ P\{X < a\} = P\{X\le a \} - P\{X=a\} = F(a) - P\{X=a\} $$

求分布律:

$$ P\{X=x_0\} = P\{X\le x_k \} - P\{X< x_k\} = F(x_k) - F(x_k - 0) $$

($x_k$ 为左极限)

连续性随机变量及其密度函数

假设 $X$ 为随机变量, 并且存在非负可积函数 $f(t), \ f(t) \ge 0$. 则对于任意的 $a \le b$, 有 $P{a < X \le b} = \int_a^b f(t) \ dt$. 而 $f(t)$ 就叫 $X$ 的概率密度函数

性质

1. $f(t) \ge 0$
2. $\int_{-\infty}^{+\infty} f(t) \ dt = 1$ 即 $X$ 的所有情况的和是1
3. 取个别点的概率是0
4. $P{a<X \le b} = P{a \le X \le b }= P{a \le X < b } = P{a < X < b }$
5. $F(x) = P{X \ge x} = \int_{-\infty}^x f(t) \ dt$
6. $f(t_0)$ 是在 $t_0$ 附近的概率密度
7. 连续型随机变量的概率是在给定区间的和
8. 连续型随机变量的概率函数 $F(t) = \int_{-\infty}^x f(t) \ dt$ 一定是连续的
9. 由性质8可得出离散型的概率函数 $F(x)$ 不是连续的
10. 对 $f(t)$ 的连续点求导有 $F’(t) = f(t)$

一维随机变量的数学期望

离散型

设 $X$ 是一个离散型随机变量 $(X = P{X=X_k} = P_k)$, 则 $X$ 的数学期望是 $E(X) = \sum_{k=1}^\infty x_kp_k$

例:

$X$	$x_1$	$x_2$	…	$x_n$
$P$	$p_1$	$p_2$	…	$p_n$

则 $E(X) = x_1p_1 + x_2p_2 + … + x_np_n$

连续型

设 $X$ 的密度函数 $f(x)$, 则它的数学期望 $E(X) = \int_{-\infty}^{+\infty} xf(x) \ dx$

性质

1. $E(C)=C, \ C \in R$
2. $E(X+a)=E(X)+a$
3. $E(aX+b)=aE(X)+b$
4. $E(X \pm Y)=E(X) \pm E(Y)$ 推论: $E(\sum_{k=1}^\infty X_k) = \sum_{k=1}^\infty E(X_k)$ 特别的, 有 $E(\frac{\sum_{k=1}^\infty X_k}{n}) = \frac1n(\sum_{k=1}^\infty X_k)$
5. 设 $X, Y$ 独立, 则 $E(XY)=E(X) \cdot E(Y)$

一维随机变量的方差

方差 $D(X) = [X - E(X)]^2$, 离差($X-E(X)$)的平方的期望就叫它的方差

其中, $D(X) \ge 0$, 而 $X$ 的标准差为 $\sqrt{D(X)}$

方差的性质

1. $D(C) = 0, \ C \in R$
2. $D(CX) = C^2D(X), \ C \in R$
3. $D(X+C) = D(X)$
4. $D(aX+b)=a^2D(X)$
5. 设定 $X, Y$ 独立, $D(X \pm Y) = D(X) + D(Y)$
6. $D(aX \pm bY) = a^2D(x) + b^2D(Y)$
7. 对于任意的 $X, Y$, 有 $D(X \pm Y) = D(X) + D(Y) \pm 2E[X-E(X)][Y-E(X)]$ 记作 $(X, Y)$ 的斜方差
8. 设 $D(X) = 0 \Leftrightarrow P{X=E(X)} = 1$

推论1: 设 $X_1X_2…X_n$ 相互独立, 有 $D(a_1X_1+a_2X_2+…+a_nX_n)=a1^2D(X_1)+a_2^2D(X_2)+…+a_n^2D(X_n)$

推论2: 设 $X_1X_2…X_n$ 独立且同分布: $D(\frac{X_1+X_2+…+X_n}{n}) = \frac1{n^2}[D(X_1)+D(X_2)+…+D(X_n)]=\frac1{n^2}n\sigma ^2 = \frac{\sigma ^2} n$

常用的随机变量的期望与方差