馬可夫過程

概率論統計學中,馬可夫過程(英語:Markov process)是一個具備了馬可夫性質隨機過程,因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的(memorylessness)。換言之,馬可夫過程的條件概率僅僅與系統的當前狀態相關,而與它的過去歷史或未來狀態,都是獨立、不相關的[1]

馬可夫過程範例

具備離散狀態的馬可夫過程,通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義,又稱離散時間馬可夫鏈[2]。有些學者雖然採用這個術語,但允許時間可以取連續的值[3]

概論

可數或有限的狀態空間 連續或一般的狀態空間
離散時間 在可數且有限狀態空間下的馬可夫鏈 Harris chain (在一般狀態空間下的馬可夫鏈)
連續時間 Continuous-time Markov process 任何具備馬可夫性質的連續隨機過程,例如維納過程

數學模型

對於某些類型的隨機過程,很容易通過狀態定義列方程推導出是否具有馬爾可夫性質,但對於另外一些,需要使用馬爾可夫性質中描述的一些更加複雜的數學技巧。舉一個簡單的例子,設某個隨機過程他的狀態X可取到一個離散集合中的值,該值隨時間t變化,可將該值表示為X(t)。在這裡,時間變量是離散或連續不影響討論的結果。考慮任意一個「過去的時間」集合(...,p2, p1), 任何「當前時間」s, 以及任何「未來時間」 t, 同時所有這些時間全都在X的取值範圍之內,若有

 

則馬爾可夫性質成立, 並且該過程為馬爾可夫過程, 如果式

 
 

對於所有的取值( ... ,x(p2), x(p1), x(s), x(t) ), 以及所有的時間集合成立。 則可用條件概率計算得出

 

與任何過去的取值( ... ,x(p2), x(p1) )不相關,這恰好就是所謂的未來的狀態與任何歷史的狀態無關,僅與當前狀態相關。

二階馬爾可夫過程

在某些情況下,如果將「現在」和「未來」的概念擴展,某些明顯的非馬爾可夫過程仍然可能具有某些馬爾可夫過程的性質。舉例來說,令X是一個非馬爾可夫過程,現在構造一個過程Y,使其每個狀態對應於X的一個時段的狀態。從而有如下形式:

 

如果Y具有馬爾可夫性質,則稱X為二階馬爾可夫過程,據此也可定義更高階馬爾可夫過程。一個高階馬爾可夫過程的例子是移動平均時間序列

馬爾可夫性質

馬可夫性質概率論中的一個概念。當一個隨機過程在給定現在狀態及所有過去狀態情況下,其未來狀態的條件概率分布僅依賴於當前狀態;換句話說,在給定現在狀態時,它與過去狀態(即該過程的歷史路徑)是條件獨立的,那麼此隨機過程即具有馬爾可夫性質。具有馬爾可夫性質的過程通常稱之為馬爾可夫過程

數學上,如果 為一個隨機過程,則馬爾可夫性質就是指

 

馬爾可夫過程通常稱其為(時間)齊次,如果滿足

 

除此之外則被稱為是(時間)非齊次的。齊次馬爾可夫過程通常比非齊次的簡單,構成了最重要的一類馬爾可夫過程。

某些情況下,明顯的非馬爾可夫過程也可以通過擴展「現在」和「未來」狀態的概念來構造一個馬爾可夫表示。設 為一個非馬爾可夫過程。我們就可以定義一個新的過程 ,使得每一個 的狀態表示 的一個時間區間上的狀態,用數學方法來表示,即,

 

如果 具有馬爾可夫性質,則它就是 的一個馬爾可夫表示。 在這個情況下, 也可以被稱為是二階馬爾可夫過程更高階馬爾可夫過程也可類似地來定義。

具有馬爾可夫表示的非馬爾可夫過程的例子,例如有移動平均時間序列

最有名的馬爾可夫過程為馬爾可夫鏈,但不少其他的過程,包括布朗運動也是馬爾可夫過程。

參考文獻

  1. ^ Markov process (mathematics)頁面存檔備份,存於網際網路檔案館) - Britannica Online Encyclopedia
  2. ^ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x
  3. ^ Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9

參見