3
齐次马尔科夫链的状态判定
source link: https://alex-mcavoy.github.io/mathematics/stochastic-process/1ec493ae.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
齐次马尔科夫链的状态判定
【Doeblin 公式】
设齐次马尔科夫链 {Xn,n≥0}，对任意 i,j∈S，有
fij=limN→∞∑n=1Npij(n)1+∑n=1Npjj(n)进一步，可推得
fii=1−limN→∞11+∑n=1Npii(n)∑n=1∞pii(n)=+∞⇔fii=1∑n=1∞pii(n)<+∞⇔fii<1【常返与非常返状态的判定】
设齐次马尔科夫链 {Xn,n≥0}，i∈S 是常返状态的充要条件是以下三个条件之一成立：
fii=1∑n=1∞pii(n)=+∞P(Ti<+∞|X0=i)=1i∈S 是非常返状态的充要条件是以下三个条件之一成立：
fii<1∑n=1∞pii(n)<+∞P(Ti<+∞|X0=i)<1【正常返状态的判定】
设齐次马尔科夫链 {Xn,n≥0}，i∈S 是常返状态，则：
1）i 是零常返状态的充要条件是
limn→∞pii(n)=02）i 是遍历状态的充要条件是
limn→∞pii(n)=1μii>03）i 是正常返周期状态的充要条件是：
不存在limn→∞pii(n)不存在根据零常返状态的充要条件可知：设 j∈S 是非常返状态或零常返状态，那么对任意 i∈S，有
limn→∞pij(n)=0【周期与非周期状态的判定】
设齐次马尔科夫链 {Xn,n≥0}，对任意 i,j∈S，有：
1）若存在正整数 n，使得
pii(n)>0,pii(n+1)>0则 i 为非周期状态
2）若存在正整数 m，使得 m 步转移概率矩阵 P(m) 中相应于状态 j 的那列元素全不为零，则 j 为非周期状态
3）设状态 i 的周期为 d，则必定存在正整数 N0，使得 N≥N0 时，有
pii(Nd)>0感谢您对我的支持，让我继续努力分享有用的技术与知识点！
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK