【马尔科夫性】

设 {X(t),t∈T} 是一随机过程，当 {X(t),t∈T} 在 t0 时刻所处的状态已知时，若其在 t>t0 时刻所处状态的条件分布与其在 t0 之前所处的状态无关，则称 {X(t),t∈T} 具有马尔科夫性

简单来说，马尔科夫性是指：在已知过程现在条件下，其将来的条件分布不依赖于过去的条件分布

【马尔科夫过程】

设 {X(t),t∈T} 的状态空间为 S，若对 ∀n≥2,∀t1<t2<⋯<tn∈T，在条件 X(ti)=xi,xi∈S,i=1,2,⋯,n−1 下，X(tn) 的条件分布恰好等于在条件 X(tn−1)=xn−1 下的条件分布函数，即

P(X(tn)≤xn|X(t1)=x1,X(t2)=x2,⋯,X(tn−1)=xn−1)=P(X(tn)≤xn|X(tn−1)=xn−1),xn∈R

则称 {X(t),t∈T} 为马尔科夫过程

对于马尔科夫过程 {X(t),t∈T}，参数集 T 和状态空间 S 都是离散时，称 {X(t),t∈T} 为马尔科夫链，此时马尔科夫性可表示为：

对 ∀n≥2,∀t1<t2<⋯<tn∈T,i1,i2,⋯,in∈S，有

P(X(tn)=in|X(t1)=i1,X(t2)=i2,⋯,X(tn−1)=in−1)=P(X(tn)=in|X(tn−1)=in−1)

特别地，当取 T={0,1,2,⋯} 时，马尔科夫链常记为 {X(n),n≥0}，简称为系统，此时马尔科夫性可表示为：

对 ∀n≥1,i0,i1,i2,⋯,in∈S，有

P(X(n)=in|X(0)=i1,X(1)=i1,⋯,X(n−1)=in−1)=P(X(n)=in|X(n−1)=in−1)

其中，X(i) 可简写为 Xi

设 {X(n),n≥0} 为马尔科夫链，若其一步转移概率 pij(n) 恒与起始时刻 n 无关，则称 {X(n),n≥0} 为齐次马尔科夫链

对于齐次马尔科夫链 {X(n),n≥0}，其一步转移概率简记为 pij，其 k 步转移概率 pij(k)(n) 也恒与起始时刻 n 无关，可记为 pij(k)，因此在进行具体讨论时，总可假设时间起点为零，即

pij(k)=P(Xk=j|X0=i),i,j∈S

进而其 k 步转移概率矩阵 P(k)(n) 和一步转移概率矩阵 P(n) 也恒与起始时刻 n 无关，简记为 P(k) 和 P