條件機率分布

條件概率分布（Conditional Probability Distribution，或者 條件分布，Conditional Distribution ）是現代概率論中的概念。已知兩個相關的隨機變量X 和Y，隨機變量Y 在條件{X =x}下的條件概率分布是指當已知X 的取值為某個特定值x之時，Y 的概率分布。 如果Y 在條件{X =x}下的條件概率分布是連續分布，那麼其密度函數稱作Y 在條件{X =x}下的條件概率密度函數（條件分布密度、條件密度函數）。與條件分布有關的概念，常常以「條件」作為前綴，如條件期望、條件方差等等。

例子

如果骰子一側是6點，朝上的可能是4點，但不可能是6點或1點。

假設在桌子上拋擲一枚普通的骰子，則其點數結果的概率分布是集合$\{1,2,3,4,5,6\}$的均勻分布：每個點數出現的概率都是均等的六分之一。然而，如果據某個坐在桌邊的人觀察，向着他的側面是6點，那麼，在此條件下，向上的一面不可能是6點，也不可能是6點對面的1點。因此，在此條件下，拋骰子的點數結果是集合$\{2,3,4,5\}$的均勻分布：有四分之一的可能性出現$2,3,4,5$四種點數中的一種。可以看出，增加的條件或信息量（某個側面是6點）導致了點數結果的概率分布的變化。這個新的概率分布就是條件概率分布。

數學定義

更為嚴格清晰的定義需要用到數學語言。當隨機變量是離散或連續時，條件概率分布有不同的表達方法。

離散條件分布

對於離散型的隨機變量X 和Y（取值範圍分別是${\mathcal {I}}$和${\mathcal {J}}$），隨機變量Y 在條件{X =x}下的條件概率分布是：

$\forall j\in {\mathcal {J}},\quad p_{Y\mid X}(j)=p_{Y}(j\mid X=i)=P(Y=j\mid X=i)={\frac {P(X=i,Y=j)}{P(X=i)}}.$ （$P(X=i)>0$）

同樣的，X 在條件{Y=y}下的條件概率分布是：

$\forall i\in {\mathcal {I}},\quad p_{X\mid Y}(i)=p_{X}(i\mid Y=j)=P(X=i\mid Y=j)={\frac {P(X=i,Y=j)}{P(Y=j)}}.$ （$P(Y=j)>0$）

其中，$P(X=i,Y=j)$是X 和Y 聯合分布概率，即「$X=i$，並且$Y=j$發生的概率」。如果用$p_{ij}$表示$P(X=i,Y=j)$的值： $P(X=i,Y=j)=p_{ij}$ 那麼隨機變量X 和Y 的邊際分布就是：

$P(X=i)=p_{i.}=\sum _{j\in {\mathcal {J}}}p_{ij}$

$P(Y=j)=p_{.j}=\sum _{i\in {\mathcal {I}}}p_{ij}$

因此， 隨機變量Y 在條件{X =x}下的條件概率分布也可以表達為：

$p_{Y\mid X}(j)=P(Y=j\mid X=i)={\frac {p_{ij}}{p_{i.}}}.$（$p_{i.}>0$）

同樣的，X 在條件{Y=y}下的條件概率分布也可以表達為：

$p_{X\mid Y}(i)={\frac {p_{ij}}{p_{.j}}}.$（$p_{.j}>0$）

連續條件分布

對於連續型的隨機變量X 和Y，$P(X=i)=P(Y=j)=0$，因此對離散型隨機變量的條件分布定義不適用。假設其聯合密度函數為$f(x,y)$，X 和Y 的邊際密度函數分別是$f_{X}(x)$和$f_{Y}(y)$，那麼Y 在條件{X =x}下的條件概率密度函數是：

$f_{Y|X}(y|x)=f_{Y}(y\mid X=x)={\frac {f(x,y)}{f_{X}(x)}}.$

同樣的，X 在條件{Y=y}下的條件概率密度函數是：

$f_{X|Y}(x|y)=f_{X}(x\mid Y=y)={\frac {f(x,y)}{f_{Y}(y)}}.$

條件分布和獨立分布

在一定意義上，條件分布和獨立分布是相對的。如果兩個隨機變量X 和Y 是獨立分布的，那麼不論是否已知某個關於X 的條件，都不會影響Y 的概率分布。用數學語言來說，就是：

$P(Y=y\mid X=x)=P(Y=y)=p_{Y}(y)$

這與獨立分布的定義是相合的，事實上，隨機變量X 和Y 相互獨立分布，則：

$P(Y=y,X=x)=P(Y=y)\cdot P(X=x).$

因此

$P(Y=y)={\frac {P(Y=y,X=x)}{P(X=x)}}=P(Y=y\mid X=x).$

參見

• 條件概率
• 正則條件概率

參考資料

• 趙衡秀. 《概率论与数理统计》. 清華大學出版社. 2005.