随机试验与随机事件
定义
在概率论中，将具有以下三个特点的试验叫做随机试验：
- 相同条件下，可重复性
- 多结果性
- 不确定性
而样本空间（$\Omega$）是一个随机试验所有可能结果的集合。
- 随机试验中的每个可能的结果则称为样本点（$\omega$），即 $\omega \in \Omega$。
样本空间的任何一个子集都被称为一个随机事件（$A$），即 $A \sub \Omega$
- “事件$A$发生” = 属于$A$的人一个样本点出现
- 如果一个子集只有一个元素，那这个子集被称为基本事件，即 $|A|=1$。
- 不含任何样本点的事件称为不可能事件 $\emptyset$，即 $|\emptyset|=0$。
- 必然事件 = $\Omega$
- $\emptyset \sub A \sub \Omega$
样本空间可以是有限/无限/离散/连续的。
例如：同时扔两个硬币，事件A是“正反面各一枚”，事件B是“至少有一个正面”
- 随机试验 $E$：同时扔两个硬币，观察正面和反面出现的情况。
- 样本空间 $\Omega$ = {(正面, 正面), (正面, 反面), (反面, 正面), (反面, 反面)}
- ⚠️ 这里的样本空间是一个有限离散集合
- 随机事件 $A$ = {(正面, 反面), (反面, 正面)}
- 随机事件 $B$ = {(正面, 正面), (正面, 反面), (反面, 正面)}
事件之间的关系
- 包含：$A \sub B$。表示 $A$ 发生必然会导致 $B$ 发生
- $A = B \hArr A \sub B 且 B \sub A$
- 并（和）：$A \cup B$。表示 $A, B$ 至少有一个发生。
- 有时候也可表示为 $A + B$
- $A \sub (A \cup B) \sub \Omega$
- $A + A = A$
- $A + \Omega = \Omega$
- $A_1 \cup A_2 \cup ... \cup A_n$
- 无穷可列个：$A_1 + A_2 + ...$
- 交（积）：$A \cap B $。表示 $A, B$ 同时发生
- 也可表示为 $AB$
- $AB \sub A$
- $AA = A$
- $A \cap \emptyset = \emptyset$
- $A \cap \Omega = A$
- 事件的差：$A - B$。表示 $A$ 发生，而 $B$ 不发生。
- $A - B = A - AB = A\bar{B}$
- 互不相容（互斥）：$AB = \emptyset$。表示 $A, B$ 不能同时发生
- $A_1, A_2, ..., A_n$ 两两互不相容，即$A_iA_j = \emptyset$
- 对立事件：$A \cup B = \Omega$ 且 $A \cap B = \emptyset$
- $A$ 的对立事件可以用 $\bar{A}$ 来表示。即，$\bar{A} = \Omega - A$
- $A\bar{A} = \emptyset$；$\bar{\bar{A}} = A$
- 互不相容 v.s. 对立事件
- $A, B$ 对立 $\Rightarrow$ $A, B$ 互不相容。反之不然（因为 $A \cup B = \Omega$ 这一条件可能不成立）。
- 对立事件适用于两个事件之间，而互不相容则适用于多个事件之间。
- $A, B$ 互不相容 $\nRightarrow{\bar{{A}}}$ 与 $\bar{B}$ 相容或不相容。
- $A, B$ 对立 $\Rightarrow$ $\bar{A}$ 与 $\bar{B}$ 对立。
- $A$ 的对立事件可以用 $\bar{A}$ 来表示。即，$\bar{A} = \Omega - A$
- 完备事件组：$A_1, A_2, ..., A_n$ 需要满足 $A_i \cap A_j = \emptyset$ 且 $\sum A_i = \Omega$
事件的运算
- 交换律：$A\cup B = B \cup A$，$A\cap B = B \cap A$
- 结合律：$(A\cup B) \cup C = A \cup ( B \cup C)$，$(A\cap B) \cap C = A \cap (B \cap C)$
- 分配律：$(A\cup B) \cap C = (A \cap C) \cup ( B \cap C)$，$(A\cap B) \cup C = (A \cup C) \cap (B \cup C)$
- 自反律：$\bar{\bar{A}} = A$
- 对偶律：$\overline{A \cup B} = \bar{A} \cap \bar{B}$，$\overline{A \cap B} = \bar{A} \cup \bar{B}$
可以通过画图来理解上面运算
频率与概率
在统计学里，一个事件 $i$ 的频率 $f_i$ 是在实验中观测到事件 $i$ 的次数与总实验次数的比值。频率具有稳定性。（来源：- 维基百科：频率 (统计学)）
而概率的公理化定义则是：假设随机事件 $E$ 的样本空间为 $\Omega$，那么对于 $\Omega$ 中的每一个事件 $A$，都有实函数 $P(A)$，满足：
- 非负性：$P(A) \ge 0$
- 规范性：$P(\Omega) = 1$
- 可数可加性：对可数个两两互斥事件 $\{A_i\}_{i\in N}$ 有：$\sum _{i=1}^{\infty }P(A_{i})=P\left(\bigcup _{i=1}^{\infty }A_{i}\right)$
任意一个满足上述条件的函数 $P$ 都可以作为样本空间 $\Omega$ 的概率函数，称函数值 $P(A)$ 为 $\Omega$ 中事件 $A$ 的概率。（来源：维基百科：概率）
概率的性质
- 不可能事件的概率为 0，即 $P(\emptyset) = 0$。反之不成立，即 $P(A) = 0 \nRightarrow A = \emptyset$。
- 说明概率为 0 的事件也可能发生。考虑无限连续样本空间。
- 加法公式：对任意事件 $A, B$，有 $P(A+B) = P(A) + P(B) - P(AB)$
- 证明：$P(A+B) = P(A+(B-AB)) = P(A) + P(B-AB) = P(A) + P(B) - P(AB)$
- $P(A+B+C) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + 2P(ABC)$
- 有限可加性：对可数个两两互斥事件 $A_1, A_2, ..., A_n$，$P\left(\bigcup _{i=1}^{n }A_{i}\right) = \sum _{i=1}^{n }P(A_{i})$
- $A, B$ 互不相容（此时 $P(AB)=0$） $\Rightarrow P(A+B) = P(A) + P(B)$。反之不成立。
- $P(\bar{A}) = 1 - P(A)$；$P(A) + P(\bar{A}) = 1$
- 对任意事件 $A, B$，有 $P(A-B) = P(A) - P(AB)$
- $B \sub A \Rightarrow P(A-B) = P(A) - P(B)$，且 $P(A) \ge P(B)$