马可夫过程

概率论统计学中,马可夫过程(英语:Markov process)是一个具备了马可夫性质随机过程,因为俄国数学家安德雷·马可夫得名。马可夫过程是不具备记忆特质的(memorylessness)。换言之,马可夫过程的条件概率仅仅与系统的当前状态相关,而与它的过去历史或未来状态,都是独立、不相关的[1]

马可夫过程范例

具备离散状态的马可夫过程,通常被称为马可夫链。马可夫链通常使用离散的时间集合定义,又称离散时间马可夫链[2]。有些学者虽然采用这个术语,但允许时间可以取连续的值[3]

概论

可数或有限的状态空间 连续或一般的状态空间
离散时间 在可数且有限状态空间下的马可夫链 Harris chain (在一般状态空间下的马可夫链)
连续时间 Continuous-time Markov process 任何具备马可夫性质的连续随机过程,例如维纳过程

数学模型

对于某些类型的随机过程,很容易通过状态定义列方程推导出是否具有马尔可夫性质,但对于另外一些,需要使用马尔可夫性质中描述的一些更加复杂的数学技巧。举一个简单的例子,设某个随机过程他的状态X可取到一个离散集合中的值,该值随时间t变化,可将该值表示为X(t)。在这里,时间变量是离散或连续不影响讨论的结果。考虑任意一个“过去的时间”集合(...,p2, p1), 任何“当前时间”s, 以及任何“未来时间” t, 同时所有这些时间全都在X的取值范围之内,若有

 

则马尔可夫性质成立, 并且该过程为马尔可夫过程, 如果式

 
 

对于所有的取值( ... ,x(p2), x(p1), x(s), x(t) ), 以及所有的时间集合成立。 则可用条件概率计算得出

 

与任何过去的取值( ... ,x(p2), x(p1) )不相关,这恰好就是所谓的未来的状态与任何历史的状态无关,仅与当前状态相关。

二阶马尔可夫过程

在某些情况下,如果将“现在”和“未来”的概念扩展,某些明显的非马尔可夫过程仍然可能具有某些马尔可夫过程的性质。举例来说,令X是一个非马尔可夫过程,现在构造一个过程Y,使其每个状态对应于X的一个时段的状态。从而有如下形式:

 

如果Y具有马尔可夫性质,则称X为二阶马尔可夫过程,据此也可定义更高阶马尔可夫过程。一个高阶马尔可夫过程的例子是移动平均时间序列

马尔可夫性质

马可夫性质概率论中的一个概念。当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态;换句话说,在给定现在状态时,它与过去状态(即该过程的历史路径)是条件独立的,那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程

数学上,如果 为一个随机过程,则马尔可夫性质就是指

 

马尔可夫过程通常称其为(时间)齐次,如果满足

 

除此之外则被称为是(时间)非齐次的。齐次马尔可夫过程通常比非齐次的简单,构成了最重要的一类马尔可夫过程。

某些情况下,明显的非马尔可夫过程也可以通过扩展“现在”和“未来”状态的概念来构造一个马尔可夫表示。设 为一个非马尔可夫过程。我们就可以定义一个新的过程 ,使得每一个 的状态表示 的一个时间区间上的状态,用数学方法来表示,即,

 

如果 具有马尔可夫性质,则它就是 的一个马尔可夫表示。 在这个情况下, 也可以被称为是二阶马尔可夫过程更高阶马尔可夫过程也可类似地来定义。

具有马尔可夫表示的非马尔可夫过程的例子,例如有移动平均时间序列

最有名的马尔可夫过程为马尔可夫链,但不少其他的过程,包括布朗运动也是马尔可夫过程。

参考文献

  1. ^ Markov process (mathematics)页面存档备份,存于互联网档案馆) - Britannica Online Encyclopedia
  2. ^ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x
  3. ^ Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9

参见