内容发布更新时间 : 2024/5/20 19:31:13星期一 下面是文章的全部内容请认真阅读。
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为 2?log8=2?3=6 bit
因此，信息速率为 6?1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
61p(a)==
366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6} 1 p(b)= 36 得到的信息量=log1=log36=5.17 bit p(b)2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 1解：(a) p(a)= 52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列 (b) ?13 ?4??花色任选13!?413413 p(b)==13 13A52C5213?log413=13.208 bit 信息量=logC522.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3
颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。
Y?x1?x2， 解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，则X?x1，
Z?x1?x2?x3
H(Z|Y)=H(x3)=log6=2.585 bit
来源于网络
H(Z|X)=H(x2?x3)=H(Y)
=2?(
12345366)+log36+log18+log12+log9+loglog6
3636363636536 =3.2744 bit
H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)] 而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit 或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y) 而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： I(X;Y)=H(Y)-H(Y|X) 因为输入等概，由信道条件可知， 即输出等概，则H(Y)=log10 H(Y|X)=??i?p(xyijjj)logp(yj|xi) =???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi) ji偶i奇 =0-??p(xiyj)logp(yj|xi) ji奇 = -i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi) =11111?log2?5+??log8?4?5 102102413 =?=1 bit 44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit
2.11 令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字
u1=0000，u2=0011，u3=0101，u4=0110，
u5=1001，u6=1010，u7=1100，u8=1111
通过转移概率为p的BSC传送。求： 来源于网络
(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。
解：
即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)
111 p(0)=(1?p)?4+p?4= 882 I(u1;0)=logp(0|u1)1?p=log=1+log(1?p) bit 1p(0)211 p(00)=[2(1?p)2?4(1?p)p?2p2]= 84p(00|u1)(1?p)2 I(u1;00)=log=log=2[1?log(1?p)] bit p(00)1/411 p(000)=[(1?p)3?3(1?p)2p?3(1?p)p2?p3]= 88 I(u1;000)=3[1+log(1?p)] bit 1 p(0000)=[(1?p)4?6(1?p)2p2?p4] 88(1?p)4)=log I(u1;0000 bit 4224(1?p)?6(1?p)p?p2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。
解：根据题2.9分析 13216621610216H(Z)=2(+++ log216+logloglog216216321662161015216212162521627216loglogloglog+++) 21615216212162521627 =3.5993 bit I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit
来源于网络
I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit 2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)H(Y,Z|X)?H(Y|X)+H(Z|X)，给出等号成立的条件
(b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y)
(c)H(Z|X,Y)?H(Z|X)
证明：(b) H(Y,Z|X)=-???p(xyz)logp(yz|x) xyz =-???p(xyz)log[p(y|x)p(z|xy)] xyz =-???p(xyz)logp(y|x)-???p(xyz)logp(z|xy) xyzxyz =H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-???p(xyz)logp(z|xy) xyz =??p(xy)[-?p(z|xy)logp(z|xy)] xyz ???p(xy)[-?p(z|x)logp(z|x)] xyz =-???p(xyz)logp(z|x) xyz =H(Z|X) 当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得 H(Y|X)+H(Z|X,Y)?H(Y|X)+H(Z|X) 于是H(Y,Z|X)?H(Y|X)+H(Z|X) ?1,?1?2.28 令概率空间X??11?，令Y是连续随机变量。已知条件概率密度为
?,??22???14,?2?y?x?2 p(y|x)??，求：
??0,其他 (a)Y的概率密度?(y) 来源于网络
(b)I(X;Y)
(c) 若对Y做如下硬判决 求I(X;V)，并对结果进行解释。
解：(a) 由已知，可得
?1????3?y?1 p(y|x??1)=?4??0??else?1????1?y?3 p(y|x?1)=?4 ??0??else ?(y)=p(x??1)p(y|x??1)+p(x?1)p(y|x?1) ?1?8???3?y??1?1?????1?y?1 =?4 ?1???1?y?3?8??0??else (b) HC(Y)=1?111log8?2?log4=2.5 bit ???3?1841?3 HC(Y|X)=?p(x??1)?p(y|x??1)logp(y|x??1)dy 11111311 =??logdy??logdy =2 bit 2?3442?144 I(X;Y)=HC(Y)-HC(Y|X)=0.5 bit (c) 由?(y)可得到V的分布律 V p -1 1/4 0 1/2 1 1/4 再由p(y|x)可知
V p(V|x=-1) p(V|x=1) -1 0 1 1/2 1/2 0 0 1/2 1/2 11 H(V)?log2??2log4?1.5 bit
24111 H(V|X)?[log2?log2]?2=1 bit
222 来源于网络