事後機率

貝氏統計學中的概念

貝氏統計中,一個隨機事件或者一個不確定事件的事後機率(Posterior probability)是在考慮和給出相關證據或數據後所得到的條件機率。同樣,事後機率分布是一個未知量(視為隨機變數)基於試驗和調查後得到的機率分布。「後驗」在本文中代表考慮了被測試事件的相關證據。

「posterior probability」的各地常用名稱
中國大陸後驗概率
臺灣事後機率
港澳後驗概率
日本、韓國漢字事後確率

定義

事後機率是在給定證據 後,參數 的機率: 

概似函數相對,其為在給定了參數 後,證據 的機率: 

兩者有以下聯繫:

首先定義事前機率服從以下機率分布函數 ,則樣本 的概似性為 ,那麼事後機率可以定義為

 [1]

此處 為標準化常數,對於連續的 ,按如下方法計算

 

對於離散的 ,應對所有可能的 取值求和 

因此,事後機率與概似性事前機率的乘積是成比例的

實例

假設一個學校裡有60%男生和40%女生。女生穿褲子的人數和穿裙子的人數相等,所有男生穿褲子。一個人在遠處隨機看到了一個穿褲子的學生。那麼這個學生是女生的機率是多少?

使用貝氏定理,事件A是看到女生,事件B是看到一個穿褲子的學生。我們所要計算的是P(A|B)。

P(A)是忽略其它因素,看到女生的機率,在這裡是40%

P(A')是忽略其它因素,看到不是女生(即看到男生)的機率,在這裡是60%

P(B|A)是女生穿褲子的機率,在這裡是50%

P(B|A')是男生穿褲子的機率,在這裡是100%

P(B)是忽略其它因素,學生穿褲子的機率,P(B) = P(B|A)P(A) + P(B|A')P(A'),在這裡是0.5×0.4 + 1×0.6 = 0.8.

根據貝氏定理,我們計算出事後機率P(A|B)

 

可見,事後機率實際上就是條件機率。

計算

根據貝氏定理,一個隨機變數在給定另一隨機變數值之後的事後機率分布可以通過事前機率分布概似函數相乘並除以歸一化常數求得

 

上式為給出了隨機變數 在給定數據 後的事後機率分布函數,式中

  •   的先驗密度函數,
  •   的概似函數,
  •  為歸一化常數,
  •  為考慮了數據  的後驗密度函數。

信賴區間

事後機率是考慮了一系列隨機觀測數據的條件機率。對於一個隨機變數來說,量化其不確定性非常重要。其中一個實現方法便是提供其事後機率的信賴區間

參見

引用

  1. ^ Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer. 2006: 21–24. ISBN 978-0-387-31073-2.