馬可夫過程

在概率論及統計學中，馬可夫過程（英語：Markov process）是一個具備了馬可夫性質的隨機過程，因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的（memorylessness）。換言之，馬可夫過程的條件概率僅僅與系統的當前狀態相關，而與它的過去歷史或未來狀態，都是獨立、不相關的。

馬可夫過程範例

具備離散狀態的馬可夫過程，通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義，又稱離散時間馬可夫鏈。有些學者雖然採用這個術語，但允許時間可以取連續的值。

概論

	可數或有限的狀態空間	連續或一般的狀態空間
離散時間	在可數且有限狀態空間下的馬可夫鏈	Harris chain (在一般狀態空間下的馬可夫鏈)
連續時間	Continuous-time Markov process	任何具備馬可夫性質的連續隨機過程，例如維納過程

數學模型

主條目：馬爾可夫性質

對於某些類型的隨機過程，很容易通過狀態定義列方程推導出是否具有馬爾可夫性質，但對於另外一些，需要使用馬爾可夫性質中描述的一些更加複雜的數學技巧。舉一個簡單的例子，設某個隨機過程他的狀態X可取到一個離散集合中的值，該值隨時間t變化，可將該值表示為X(t)。在這裡，時間變量是離散或連續不影響討論的結果。考慮任意一個「過去的時間」集合(...,p₂, p₁), 任何「當前時間」s, 以及任何「未來時間」 t, 同時所有這些時間全都在X的取值範圍之內，若有

$\cdots <p_{2}<p_{1}<s<t.\,$

則馬爾可夫性質成立, 並且該過程為馬爾可夫過程, 如果式

$\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}$

$=\Pr {\big [}X(t)=x(t)\mid X(s)=x(s){\big ]}$

對於所有的取值( ... ,x(p₂), x(p₁), x(s), x(t) ), 以及所有的時間集合成立。 則可用條件概率計算得出

$\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}$

與任何過去的取值( ... ,x(p₂), x(p₁) )不相關，這恰好就是所謂的未來的狀態與任何歷史的狀態無關，僅與當前狀態相關。

二階馬爾可夫過程

在某些情況下，如果將「現在」和「未來」的概念擴展，某些明顯的非馬爾可夫過程仍然可能具有某些馬爾可夫過程的性質。舉例來說，令X是一個非馬爾可夫過程，現在構造一個過程Y，使其每個狀態對應於X的一個時段的狀態。從而有如下形式：

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

如果Y具有馬爾可夫性質，則稱X為二階馬爾可夫過程，據此也可定義更高階馬爾可夫過程。一個高階馬爾可夫過程的例子是移動平均的時間序列

馬爾可夫性質

馬可夫性質是概率論中的一個概念。當一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴於當前狀態；換句話說，在給定現在狀態時，它與過去狀態（即該過程的歷史路徑）是條件獨立的，那麼此隨機過程即具有馬爾可夫性質。具有馬爾可夫性質的過程通常稱之為馬爾可夫過程。

數學上，如果$X(t),t>0$為一個隨機過程，則馬爾可夫性質就是指

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}=\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0.$

馬爾可夫過程通常稱其為（時間）齊次，如果滿足

$\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x{\big ]}=\mathrm {Pr} {\big [}X(h)=y\,|\,X(0)=x{\big ]},\quad \forall t,h>0,$

除此之外則被稱為是（時間）非齊次的。齊次馬爾可夫過程通常比非齊次的簡單，構成了最重要的一類馬爾可夫過程。

某些情況下，明顯的非馬爾可夫過程也可以通過擴展「現在」和「未來」狀態的概念來構造一個馬爾可夫表示。設$X$為一個非馬爾可夫過程。我們就可以定義一個新的過程$Y$，使得每一個$Y$的狀態表示$X$的一個時間區間上的狀態，用數學方法來表示，即，

$Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.$

如果$Y$具有馬爾可夫性質，則它就是$X$的一個馬爾可夫表示。 在這個情況下，$X$也可以被稱為是二階馬爾可夫過程。更高階馬爾可夫過程也可類似地來定義。

具有馬爾可夫表示的非馬爾可夫過程的例子，例如有移動平均時間序列。

最有名的馬爾可夫過程為馬爾可夫鏈，但不少其他的過程，包括布朗運動也是馬爾可夫過程。

參見

• 圖模式
• 馬爾可夫鏈
• 馬爾可夫邏輯網絡