第十一章 马尔科夫链

。 4、设是一个马尔科夫链，其状态空间，转移概率矩阵为 ，求 （1） ， （2）
。 解： （1） 由马尔科夫与齐次性，可得
（2） 因为所求为二步转移概率，先求二步转移概率矩阵 ，故
。 5（天气预报问题）、设明天是否有雨仅与今天的天气有关，而与过去 的天气无关。又设今天下雨而明天下雨的概率为
，而今天无雨明天有雨的概率为；规定有雨天气为状态0，无雨天气为 状态1。因此问题是两个状态的马尔科夫链。设。求今天有雨且第四天 仍有雨的概率。 解 由题设条件，得一步转移概率矩阵为
又 ，得 。故为其平稳分布。 法2Baidu Nhomakorabea设，由 及，得方程组
得唯一解： 。 故为其平稳分布。
2）、经过三次购买后的倾向表为：
3）、设其极限分布为，由得，长时间的购买活动后，A，B，C三厂的 市场占有率为： 。 3、设
满足习题1的条件。若有证明：
是齐次马尔科夫链，并求二步转移概率矩阵。 解： 因为 所以，，由于与相互独立，因此
同理，。所以
是马尔科夫链，由于
是齐次马尔科夫链，故
也是齐次马尔科夫链。 故
第十一章 马尔科夫链
1、设有独立重复试验序列。以记第次试验时事件发生，且；以记第次 试验时事件不发生，且。求：步转移概率矩阵。 解： 是齐次马尔科夫链。由独立性知：
。 又由重复性知，有 故
。 2、若顾客的购买是无记忆的。现在市场上供应A,B,C三个不同厂家生产 的50g袋装味精。用分别表示事件“顾客第n次购买A,B,C三厂的味精”， 则 是一个马氏链。已知顾客第一次购买三种味精的概率依次为0.2， 0.4，0.4。又知道一般顾客购买的倾向表如下：。求： 1）顾客第二次 购买各厂味精的概率。 2）经过三次购买后的倾向表。3）长时间的购买活动后，A，B，C三厂 的市场占有率如何？ 解：1）因为 ，转移概率矩阵为 ， 且初始状态为 , 顾客第二次购买的各厂味精的概率分别为：
于状态0，有23/62的时间过程处于状态1，有18/62的时间过程处于状态 2。 8、设一马尔科夫链的转移概率矩阵为 ，讨论此马尔科夫链的遍历性。 解： 因为
当为奇数时，；当为偶数时，。所以对任一固定的状态当，极限都 不存在。故此马尔科夫链不具遍历性。 9、设马尔科夫链的转移概率矩阵为 ，求其平稳分布。 解： 设满足方程组 ， 解得唯一解
，于是二步转移概率矩阵为 ；四步转移概率矩阵为 从而今天有雨且第四天仍有雨的概率为 ： 。 6、设是一个独立同分布的取非负整数的随机变量序列，，令 证明：是 马尔科夫链，并求其一步转移概率矩阵。 解： 的值域为，有 所以，是马尔科夫链，转移概率 。 故其一步转移概率矩阵为： 。 7、设马尔科夫链的状态空间为，一步转移概率矩阵为：，求其相应的 极限分布。 解： 设其极限分布为，由及得方程组， 解方程组得 。 即不论其其始分布任何，在经过一段时间以后，有21/62的时间过程处
，则 即从状态出发经过很长时间后马尔科夫链处于状态1，2，3的概率都是 1/3。即马尔科夫链趋于均匀分布。 10、在一计算机系统中，每一循环具有误差的概率取决于先前一个循环 是否有误差。以0表示误差状态，1表示无误差状态。设转移概率矩阵 为，讨论相应的齐次马尔科夫链的遍历性，并求其平稳（极限）分布。 解：法1 用定义解。由于P无零元，对，都有，所以此链具有遍历性。 因为P与（特征矩阵）相似，故，其中