内容发布更新时间 : 2025/2/13 20:57:07星期一 下面是文章的全部内容请认真阅读。

解：状态图如下

1/2u11/31/21/32/32/3u2

状态转移矩阵为：

u3

0??1/21/2??p??1/302/3?

?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?

由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=，p(0|11)=，p(1|00)=，

p(1|11)=，p(0|01)=，p(0|10)=，p(1|01)=，p(1|10)=。画出状态图，并计算各状态

的稳态概率。

解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5

p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5

0??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???00.20.8??0状态图为：

0.8000.50.2010.50.50.50.210110.8

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

5?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????47

得 ?0.5W2?0.2W4?W3 计算得到???0.5W2?0.8W4?W4??Wi?1?W3?1?i?1??7W1?W2?W3?W4?1???5?W4?14??X??x1?0x2?1x3?2x4?3? 设有一离散无记忆信源，其概率空间为?????

P3/81/41/41/8???? （1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)?log218?log2?1.415bit p(x1)3同理可以求得I(x2)?2bit,I(x3)?2bit,I(x3)?3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit 平均每个符号携带的信息量为

87.81?1.95bit/符号 45

有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2,……….,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi)

（1）H(Y)??p(yj)logj?1312381838?log?2?log?1.24bit/符号 p(yj)3823818（2）H(X,Y)?H(X)?log238?5.25bit/符号

（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为

?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?

?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率p(xi,yj)为

Y X x1 x2 x3 X概率分布 X P x1 8/24 x2 8/24 x3 8/24 y1 y2 1/24 1/4 1/24 y3 0 1/24 7/24 H(X,Y)??p(xi,yj)log2ij7/24 1/24 0 1p(xi,yj)?2?72411log2?4?log224?log24247244 =符号

1H(Y)?3?log23?1.58bit/符号

3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58 Y概率分布是 =符号 Y P y1 8/24 y2 8/24 y3 8/24

黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝，白色出现的概率p(白)＝。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝，P(黑|白)＝，P(白|黑)＝，P(黑|黑)＝，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)

1010?0.7log2?0.8813bit/符号 37