独立 (概率论)

在機率論裡，說兩個事件是獨立的，直覺上是指一次实验中一事件的發生不會影響到另一事件發生的機率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互獨立的。類似地，兩個隨機變量是獨立的，若其在一事件給定觀測量的條件機率分佈和另一事件沒有被觀測的機率分佈是一樣的。

对于两个以上的事件，需要区分两种独立的概念。如果集合中的任意两个事件相互独立，则这些事件称为两两独立（Pairwise independent），而事件相互独立（Mutually independent）指每个事件独立于集合中其他事件的任何交集。在概率论、统计学和随机过程的标准文献中，没有限定词的独立通常指相互独立。

獨立事件

对于兩個事件

兩個事件A和B是獨立的 当且仅当 $\mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)$ 。

這裡，A ∩ B是A和B的交集，即為A和B兩個事件都會發生的事件。

对于任意個事件

若有限个事件构成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每对事件都是独立的，则这些事件是兩兩獨立(pairwise independent)的。^[1]

即当且仅当对任意的 $i,j\in \{1,...,n\},i\neq j$ ，有

\mathrm {Pr} (A_{i}\cap A_{j})=\mathrm {Pr} (A_{i})\mathrm {Pr} (A_{j})

若有限个事件构成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每个事件都与任何其他事件构成的交集独立，则这些事件是相互獨立(mutually independent) 的。

即当且仅当對其任一有限子集A₁, ..., A_n，會有

\Pr(A_{1}\cap \cdots \cap A_{n})=\Pr(A_{1})\,\cdots \,\Pr(A_{n})

。

或写作： $\Pr \left(\bigcap _{i=1}^{n}A_{i}\right)=\prod _{i=1}^{n}\Pr(A_{i}).\!\,$

這被稱為獨立事件的乘法規則。

独立事件的性质

若兩個事件A和B是獨立的，則其B給之A的條件機率和A的「無條件機率」一樣，即

\Pr(A\mid B)=\Pr(A)\,

。

至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義：(1)A和B兩個事件在此敘述中並不對稱，及(2)當機率為0亦可包含於此敘述時，會有問題產生。

若回想條件機率Pr(A | B)的定義為

\Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)},

(只要Pr(B) ≠ 0 )

則上面的敘述則會等價於

\Pr(A\cap B)=\Pr(A)\Pr(B)

即為上面所給定的標準定義。

注意獨立性並不和它在地方話裡的有相同的意思。例如，一事件獨立於其自身当且仅当：

\Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,

亦即，其機率不是零就是一。因此，當一事件或其補集幾乎確定會發生，它即是獨立於其本身。例如，若事件A從單位區間的連續型均勻分佈上選了0.5，則A是獨立於其自身的，儘管重言式地，A完全決定了A。

獨立隨機變量

上面所定義的是事件的獨立性。在這一節中，我們將處理隨機變量的獨立性。若X是一實數值隨機變量且a是一數字的話，則X ≤ a的事件是一個事件，所以可以有意義地說它是否會獨立於其他的事件。

兩個隨機變數X和Y是獨立的若且唯若對任何數字a和b，事件[X ≤ a](X小於或等於a的事件)和[Y ≤ b]為如上面所定義的獨立事件。類似地，隨意數量的隨機變數是明確地獨立的，若對任一有限子集X₁, ..., X_n和任一數字的有限子集a₁, ..., a_n，其事件[X₁ ≤ a₁], ..., [X_n ≤ a_n]會是如上面所定義的獨立事件。