【状态的基本属性】

首达概率与迟早概率

设齐次马尔科夫链 {Xn,n≥0}，当 i,j∈S，称

fij(n)=P(Xn=j,Xk≠j,k=1,2,⋯,n−1|X0=i)

为 {Xn,n≥0} 在 0 时从状态 i 出发，经过 n 步转移后，首次达到状态 j 的概率，简称为首达概率，称

fij=∑n=1∞fij(n)=P(⋃n=1∞(Xn=j,Xk≠j,k=1,2,⋯,n−1)|X0=i)

为 {Xn,n≥0} 在 0 时从状态 i 出发，经过有限步转移后，迟早要达到状态 j 的概率，简称为迟早概率，称

fij(+∞)=P(Xn≠j,n=1,2,⋯,n−1)|X0=i)

为 {Xn,n≥0} 在 0 时从状态 i 出发，永远也无法达到状态 j 的概率

---

对于首达概率和迟早概率，其与齐次马尔科夫链的转移概率有如下关系：

0≤fij(n)≤pij(n)≤fij≤1pij(n)=∑l=1nfij(l)pjj(n−l)fij(n)=∑i1≠j∑i2≠j⋯∑in−1≠jpii1pi1i2⋯pin−1j

设齐次马尔科夫链 {Xn,n≥0}，当 j∈S，称

Tj=min{n|n≥1,Xn=j}

为 {Xn,n≥0} 首次到达状态 j 的时间，简称首达时，显然，Tj 是一个随机变量

当 {n|n≥1,Xn=j}=∅，即 ∀n≥1,Xn≠j 时，定义

Tj=+∞

即系统在有限时间内，不可到达状态 j

---

首达时与首达概率和迟早概率有如下关系：

fij(n)=P(Tj=n|X0=i)fij=P(Tj<+∞|X0=0)

平均转移步数

设齐次马尔科夫链 {Xn,n≥0}，当 j∈S 时，其首达时为 Tj，称

μij=E(Tj|X0=i)=∑n=1∞nfij(n)

为从状态 i 出发，首次到达状态 j 的平均转移步数，称

μjj=E(Tj|X0=j)=∑n=1∞nfjj(n)

为从状态 i 出发，首次返回状态 j 的平均返回时间

状态的周期

设齐次马尔科夫链 {Xn,n≥0}，当 i∈S，若 {n|n≥1,pii(n)>0}≠∅，则称

di=GCD{n|n≥1,pii(n)>0}

为状态 i 的周期，若 {n|n≥1,fii(n)>0}≠∅，则有

hi=GCD{n|n≥1,fii(n)>0}

对于 di 和 hi，有如下性质：

1）若 pij(n)>0，则存在 m≥1，使得

n=mdi

2）若 fij(n)>0，则存在 m′≥1，使得

n=m′hi

3）若 di 和 hi 中一个存在，则另一个也存在，且

di=hi

对于齐次马尔科夫链，可以根据常返性、平均返回时间、周期性上的各种不同的表现进行区分

设齐次马尔科夫链 {Xn,n≥0}，当 i∈S，有：

1）若 fii=1，则称状态 i 为常返状态，或返回状态

2）若 fii<1，则称状态 i 为非常返状态，或滑过状态

3）若 i 为常返状态，且 μii<+∞，则称状态 i 为正常返状态

4）若 i 为常返状态，且 μii=+∞，则称状态 i 为零常返状态，或消极常返状态

5）若 di>1，则称状态 i 为周期为 di 的周期状态

6）若 di=1，则称状态 i 为非周期状态

7）若状态 i 为正常返状态，且是非周期状态，则称状态 i 为遍历状态

7）若状态 i 为正常返状态，且是周期状态，则称状态 i 为正常返周期状态

【状态的可达与互通】

设齐次马尔科夫链 {Xn,n≥0}，当 i,j∈S，若存在 n≥1，使得

pij(n)>0

则称状态 i可达状态 j，记为 i→j

若状态 i 可达状态 j，且状态 j 可达状态 i，即

i→j,j→i

则称状态 i 与状态 j互通，记为 i↔j

---

对于状态的可达与互通，有：

• 可达的传递性：若 i→j,j→k，则 i→k
• 互通的传递性：若 i↔j,j↔k，则 i↔k
• 互通的对称性：若 i↔j，则 j↔i

此外，对于互通的两个状态 i,j∈S，他们有相同的类型，即设 i,j∈S，且 i↔j，则 i,j 有：

• 两者同为非常返状态
• 两者同为零常返状态
• 两者同为正常返非周期状态
• 两者同为正常返周期状态且周期相同