内容发布更新时间 : 2024/11/14 11:17:37星期一 下面是文章的全部内容请认真阅读。

????????????q0p00???p0?? （2） P???0q0???00q0p??????????????(3)每次游动只有两种可能，向前概率为p，向后概率为q，n次移动的结果是由i到j，若在n次游动中向前m1次，向后m2次，则

n?j?i?m???m1?m2?n?12?? ?m?m?j?in?j?i?12?m?2??2n?j?in?j?i?n?2j?i?(n)?p2?q2,,,n?j?i为偶数?pij??Cn?,,,n?j?i为奇数?0，

nnn?222?(n)pii??Cn?p?q,,,n为偶数?,,,n为奇数?0，

3、设齐次Markov链{Xn,n?0}的状态空间是{1,?,7}，状态转移矩阵为

001/2?0?1/31/31/30??0010?P??1/3000?0100?00?1/20?0003/4?（1）对状态空间进行分解；

（2）求平稳分布

提示：仿照教材中的例题来做。

01/20000000?00??00??02/3? 00??01/2?1/40??E?N?R?1?R?2?{2,5}?{1,4,6,7}?{3}平稳分布

??(

91547?1,0,?2,?1,0,?1,?1)，其中?1??2?1,?1?0,?2?0 46462323

4、设Markov链{Xn,n?0}的状态空间是{0,1,2,?}，转移概率为

p0i?pi?0,pi,i?1?1,i?1,2,?,p00?p0

证明

（1）Markov链{Xn,n?0}是常返的不可约的；

(k)证明：由于所有状态互通，所以所有状态具备相同的状态类型，又由于f00?pk?1,从而

??f00??fk?1(k)00??pk?1?1，即状态0是常返的，所以整个马链也是常返的。

k?1（2）Markov链{Xn,n?0}是零常返的充分必要条件是

???npn?1?n?1??；

证明：注意到?00??nfn?1(n)00??npn?1及其整个马链所有状态互通即得。

n?1（3） Markov链{Xn,n?0}是正常返的充分必要条件是

???p?n????n?i为??i??,i?0,1,??。 ??npn?1???n?1???npn?1?n?1且此时的平稳分布??，

证明

类似于（2），马链正常返的充要条件是 由于?0??npn?1?n?1??

1?00?1?npn?1?，所以利用?0?p0?0??1得

n?1?1?(1?p0)?0??npn?1n?1??p?n

n?1由?1?p1?0??2得

?2?(1?p0?p1)?0??npn?1n?2??p?n

n?1

………………………… 由?i?1?pi?1?0??i得

?i?(1?p0?p1???pi?1)?0??npn?1n?i??p?n

n?1