马尔可夫链

2.1 马尔可夫链的定义

现实世界中有很多这样的现象：某一系统在已知现在情况的条件下，系统未来时刻

的情况只与现在有关，而与过去的历史无直接关系。比如，研究一个商店的累计销售额，

如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一

时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称

为马氏模型。-Markov chain model