2

齐次马尔科夫链的状态空间分解

 1 year ago
source link: https://alex-mcavoy.github.io/mathematics/stochastic-process/9cda3c67.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

齐次马尔科夫链的状态空间分解

2022-12-19数学 ， 随机过程

1
1.7k 2 分钟

【等价类】

对于齐次马尔科夫链 {Xn,n≥0}，根据互通这一等价关系，可以将状态空间 S 划分为有限个或可列无限个互不相交的子集 S1,S2,⋯ 的并，即

S=⋃nSn,Sm⋂Sn=∅,m≠n,n=1,2,⋯

显然，同一子集 Sn 中的所有状态都互通，不同子集 Sm 和 Sn 中的状态不互通

称 Sn 是一个等价类，包含 i 的等价类 Sn 常记为 S(i)，于是有

S(i)={i}⋃{j|j↔i}S(i)=S(j)⇔i↔jS(i)=Sn⇔i∈Sn

【闭集与吸收状态】

对于齐次马尔科夫链 {Xn,n≥0}，设 C 是 S 的子集，若对任意 i∈C,j∉C,n≥0，有

pij(n)=0

则称 C 是一个闭集，而对 i∈S，若状态子集 {i} 是闭集，那么状态 i 被称为吸收状态

那么，i∈S 是吸收状态的充要条件是

pii=1

对于 S 的子集 C，其是闭集的充要条件是下列三个等价条件之一成立

，pij=0，∀i∈C,j∉j∑j∈Cpij=1,∀i∈C∑j∈Cpij(n)=1,∀i∈C,n≥0

【可约与不可约】

设 C 是一个闭集，若 C 中不再包含任何非空真闭子集，则称 C 是不可约闭集，否则，称 C 是可约闭集

根据闭集的定义，显然对于齐次马尔科夫链 {Xn,n≥0}，状态空间 S 是一个闭集，那么如果 S 是不可约的，就称该齐次马尔科夫链不可约，否则，称其可约

于是，可以给出如下定理：

  • 若等价类 S(i) 为闭集，那么 S(i) 是不可约的
  • 若 C 是闭集，当且仅当 C 中的任何两个状态都互通时，C 是不可约的
  • 齐次马尔科夫链不可约的充要条件是：其任意两个状态都互通

在实际应用中，常遇到有限状态的齐次马尔科夫链，关于有限齐次马尔科夫链有如下定理：

  • 有限齐次马尔科夫链的所有非常返状态的集合 D 不可能是闭集
  • 有限齐次马尔科夫链不可能存在零常返状态
  • 不可约的有限齐次马尔科夫链的所有状态都是正常返状态

也就是说，无论有限齐次马尔科夫链从什么状态出发，迟早要进入常返状态的闭集中，即在有限个非常返状态中的转移步数是有限的，从而不可约的有限齐次马尔科夫链的所有状态都是正常返状态

【状态空间分解定理】

对于齐次马尔科夫链 {Xn,n≥0}，其状态空间 S 可唯一分解为有限个或可列无限个互不相交的状态子集 D,C1,C2,⋯ 的并，即

S=D∪C1∪C2∪⋯

其中，D 是所有非常返状态构成的状态子集，Cn 是由常返状态构成的不可约闭集，每个状态子集中的状态有着相同的状态类型，且对任意 i,j∈S，有 fij=1

例如：设状态空间 S={0,1,2} 的齐次马尔科夫链的一步转移概率为

P=[1212012141401323]

首先根据一步转移概率画出状态转移图

18-1.png

由于 p00=12，根据周期的定义可知，状态 0 是非周期状态，而从状态转移图可以看出，三个状态是互通的，故状态 1 和状态 2 也是非周期状态

根据状态空间分解定理可知，该齐次马尔科夫链是不可约的，且三个状态都是正常返状态

进而三个状态都是遍历状态

感谢您对我的支持，让我继续努力分享有用的技术与知识点！

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK