马尔科夫链的转移概率与概率分布
source link: https://alex-mcavoy.github.io/mathematics/stochastic-process/4cdefd51.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
【转移概率】
设 {X(n),n≥0} 为马尔科夫链，若在 n 时刻处于状态 i 的条件下，经过 k 步转移，于 n+k 时刻到达状态 j，此时的条件概率
pij(k)(n)=P(Xn+k=j|Xn=i),i,j∈S
称为 {X(n),n≥0} 在 n 时的 k 步转移概率
特别地，当 k=1 时，pij(1)(n) 被称为一步转移概率，简记为 pij(n)
【转移概率矩阵】
将以 pij(k)(n) 为第 i 行第 j 列元素组成的矩阵
P(k)(n)=[p11(k)(n)p12(k)(n)⋯p1n(k)(n)p21(k)(n)p22(k)(n)⋯p2n(k)(n)⋮⋮⋱⋮pn1(k)(n)pn2(k)(n)⋯pnn(k)(n)]
称为 {X(n),n≥0} 在 n 时的 k 步转移概率矩阵，其是一个随机矩阵，即每一列的和为 1
特别地，当 k=1 时，P(1)(n) 被称为一步转移概率矩阵，简记为 P(n)
【C-K 方程】
设 {X(n),n≥0} 为马尔科夫链，在 n 时刻处于状态 i 的条件下，经过 k+m 步转移，于 n+k+m 时刻到达状态 j，可以先在 n 时从状态 i 出发，经过 k 步于 n+k 时到达某种中间状态 l，再在 n+k 时刻从中间状态 l 出发，经过 m 步转移于 n+k+m 时刻到达最终状态 j，要求中间状态 l 要取遍整个状态空间，即
pij(k+m)(n)=∑lpil(k)(n)plj(m)(n+k)
其矩阵形式为
P(k+m)(n)=P(k)(n)P(m)(n+k)
当取 m=1 时，有
P(k+1)(n)=P(k)(n)P(n+k)
一直推下去，有
P(k+1)(n)=P(n)P(n+1)⋯P(n+k)
写成分量形式，即
pij(k+1)(n)=∑j1∑j2⋯∑jkpij1(n)pj1j2(n+1)⋯pjkj1(n)
在上式中将 k+1 换为 k，可得结论：马尔科夫链的 k 步转移概率，由一步转移概率所完全确定
【概率分布】
设 {X(n),n≥0} 为马尔科夫链，称
qi(0)=P(X0=i),i∈S
为 {X(n),n≥0} 的初始分布，称
q(0)=(q1(0),q2(0),⋯,qn(0))
为 {X(n),n≥0} 的初始分布向量，称
qj(n)=P(Xn=j),j∈S
为 {X(n),n≥0} 的绝对分布，称
q(n)=(q1(n),q2(n),⋯,qn(n))
为 {X(n),n≥0} 的绝对分布向量
显然，初始分布、绝对分布、n 步转移概率有如下关系：
qj(n)=∑iqi(0)pij(n)(0)q(n)=q(0)P(n)(0)
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK