内容发布更新时间 : 2024/7/5 19:32:34星期一 下面是文章的全部内容请认真阅读。

《信息论与编码（第二版）》曹雪虹答案

第二章

2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，

p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。

解：状态图如下

1/2

u11/31/21/32/32/3u2

状态转移矩阵为：

0??1/21/2??p??1/302/3? ?1/32/30???u3

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

11?1W1?W2?W3?W110??2W1?33??2512??W1?W3?W2?WP?W9?由?得?计算可得 W2?23??25?W1?W2?W3?1?2?6?W2?W3?W3?3??25???W1?W2?W3?12.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，

p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出状态

图，并计算各状态的稳态概率。

解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5

p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5

0??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???000.20.8??状态图为：

0.8000.50.2010.50.50.50.210110.8 设各状态00，01，10，11的稳态分布

概率为W1,W2,W3,W4 有

5?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????47 得 计算得到0.5W2?0.2W4?W3????0.5W2?0.8W4?W4??Wi?1?W3?1?i?1??7???W1?W2?W3?W4?15?W4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

11111p(xi)?????666618I(xi)??logp(xi)??log1?4.170 bit18111p(xi)???6636I(xi)??logp(xi)??log1?5.170 bit36解：(1) (2)

(3)

两个点数的排列如下：

11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是??11661111 其他15个组合的概率是2??? 3666181111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol

361818??36i(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

23456789101112??X???11115151111???P(X)???????3618129366369121836??H(X)???p(xi)logp(xi)i(5)

111111115511?? ???2?log?2?log?2?log?2?log?2?log?log?361818121299363666??36 ?3.274 bit/symbol1111p(xi)???11?6636I(xi)??logp(xi)??log11?1.710 bit36

2-4

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

设随机变量X代表女孩子学历 X P(X)

设随机变量Y代表女孩子身高

Y y1（身高>160cm）y2 （身高<160cm） P(Y)

已知：在女大学生中有75%是身高160厘米以上的 即：p(y1/x1)?0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1)??logp(x1/y1)??logp(x1)p(y1/x1)0.25?0.75??log?1.415 bit

p(y1)0.5x1（是大学生） x2（不是大学生）

0.25

0.75

0.5 0.5

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？

解：

1）因圆点之和为3的概率p(x)?p(1,2)?p(2,1)?该消息自信息量I(x)??logp(x)?log18?4.170bit 2）因圆点之和为7的概率

p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?1 61 18该消息自信息量I(x)??logp(x)?log6?2.585bit 2.7 设有一离散无记忆信源，其概率空间为????P3/8 （1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)?log218?log2?1.415bit p(x1)3?X??x1?0x2?1x3?2x4?3?? 1/41/41/8????同理可以求得I(x2)?2bit,I(x3)?2bit,I(x3)?3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit 平均每个符号携带的信息量为

87.81?1.95bit/符号 452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}

二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量

H(X2)?logn?log8?3 bit/symbol