概率空间

概率空间是概率论的基础。概率的严格定义基于这个概念。

定义

概率空间 $(\Omega ,{\mathcal {F}},P)$ 是一个总测度为1的测度空间（即 $P(\Omega )=1$）。

第一项 $\Omega$ 是一个非空集合，称作样本空间。$\Omega$ 里的元素称作结果或样本输出，可写作ω。

第二项 ${\mathcal {F}}$ 是一个 σ-代数。事件是样本空间 $\Omega$ 的子集，${\mathcal {F}}$ 由事件构成，是样本空间 $\Omega$ 幂集 $2^{\Omega }$ 的一个非空子集。集合 ${\mathcal {F}}$ 必须是一个σ-代数，即满足下面三个性质:

1. ${\mathcal {F}}$ 包含全集，即 $\Omega {\in }{\mathcal {F}}$；
2. 若 $A{\in }{\mathcal {F}}$，则补集 ${\bar {A}}{\in }{\mathcal {F}}$；
3. ${\mathcal {F}}$ 对可数并封闭，即对于 $A_{n}{\in }{\mathcal {F}}$，$n=1,2,...$，那么$\bigcup _{n=1}^{\infty }A_{n}{\in }{\mathcal {F}}$

空间 $(\Omega ,{\mathcal {F}})$ 称为可测空间，在此集合上可定义其概率测度。

第三项 $P$ 称为概率，或者概率测度。这是一个从集合 ${\mathcal {F}}$ 到实数域 $\mathbb {R}$ 的函数。概率测度 $P:{\mathcal {F}}{\to }\mathbb {R}$ 需要满足

1. 可数可加性：如果 $\{A_{i}\}_{i=1}^{\infty }\subset {\mathcal {F}}$ 为两两不交的集合，那么 $P\left(\bigcup _{i=1}^{\infty }A_{i}\right)=\sum _{i=1}^{\infty }P(A_{i})$。
2. 全空间的概率为 1，即 $P(\Omega )=1$。

概率测度给每个事件赋予一个 0 和 1 之间的概率值。

概率测度经常以粗体表示，例如 $\mathbb {P}$ 或 $\mathbf {P}$ ，也可用符号 $\Pr$ 来表示。

离散模式

离散概率理论仅需要可数集的样本空间 $\Omega$。概率指的是由概率质量函数 $p:\Omega \to [0,1]$求得$\Omega$上的使得 $\sum _{\omega \in \Omega }p(\omega )=1$ 的点。$\Omega$ 全部的子集合可视为随机事件（也就是${\mathcal {F}}=2^{\Omega }$为幂集）。概率测度可简写为$$(*)\qquad P(A)=\sum _{\omega \in A}p(\omega )\quad {\text{for all }}A\subseteq \Omega$$

使用 σ-代数 ${\mathcal {F}}=2^{\Omega }$能够完整描述样本空间。一般来说，σ-代数相当于一个有限或可数的集合划分$\Omega =B_{1}\cup B_{2}\cup \dots$，事件A的一般型$A\in {\mathcal {F}}$ 且$A=B_{k_{1}}\cup B_{k_{2}}\cup \dots$

$p(\omega )=0$是被定义允许的情况但极少使用，因为这样的$\omega$可以安全地从样本空间中移除。

一般模式

如果Ω不可数，存在某些ω使得p(ω) ≠ 0的情况仍然存在，那些ω称为原子。他们大部分都是可数的集合（有可能为空集合），其可能性为所有原子概率的和。如果这个和等于1，那么其他的点可以安全地从样本空间中移除，回归离散模式。反之，如果和少与1（有可能为零）那么概率空间分解成为离散（原子）部分（可能为零），以及非原子部分。

例子

若样本空间是关于一个机会均等的抛硬币动作，则样本输出为“正面”或“反面”。事件为：

• {正面}，其概率为0.5。
• {反面}，其概率为0.5。
• { }=∅ 非正非反，其概率为0.
• {正面，反面}，不是正面就是反面，这是Ω，其概率为1。

相关概念

随机变量

随机变量是一个从Ω映射到另一个集合(通常是实数域R)的函数。它必须是一个可测函数。比如说，若X是一个实随机变量，则使X为正的样本输出的集合{ω∈Ω:X(ω)>0}是一个事件。

为简便起见，{ω∈Ω:X(ω)>0}经常只写作{X>0}。P({X>0})更被简化为P(X>0)。

独立

若P(A∩B)=P(A)P(B)，则A和B两个事件是独立的。

若任何与随机变量X有关的事件和任何与随机变量Y有关的事件独立，则X和Y两个随机变量是独立的。

独立这个概念是概率论和测度论分道扬镳的地方。

互斥

若P(A∩B)=0，则称A和B两个事件互斥或“不相交”（这个性质要比A∩B=∅弱一些，后者是集合不相交的定义）。

若两个事件A和B不相交，则P(A∪B)=P(A)+P(B)。这个性质可以扩展到由（有限个或者可数无限个）事件组成的事件序列。但不可数无限个事件组成的事件集合对应的概率与集合元素对应概率之和未必相等，例如若Z是正态分布的随机变量，则对任意x有P(Z=x)=0，但是P(Z是实数)=1。

事件A∩B的意思是A并且B；事件A∪B的意思是A或者B.