内容发布更新时间 : 2024/11/15 12:21:12星期一 下面是文章的全部内容请认真阅读。
2、3 一副充分洗乱的牌(含52张),试问:
(1)任一特定排列所给出的不确定性就是多少？
(2)随机抽取13张牌,13张牌的点数互不相同时的不确定性就是多少？
解:(1)52张扑克牌可以按不同的顺序排列,所有可能的不同排列数就就是全排列种数,为
5267P52?52??8.066?10
因为扑克牌充分洗乱,任一特定排列出现的概率相等,设事件A为任一特定排列,则其发生概
率为
P?A??可得,该排列发生所给出的信息量为
I?A???log2P?A??log252??225.58 bit ?67.91 dit
(2)设事件B为从中抽取13张牌,所给出的点数互不相同。
13 扑克牌52张中抽取13张,不考虑排列顺序,共有C52种可能的组合。13张牌点数互不
1?1.24?10?68 52?相同意味着点数包括A,2,…,K,而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为4。因为每种组合都就是等概率发生的,所以
13413413?1339?? P?B??13??1.0568?10?4
C5252?则发生事件B所得到的信息量为
413 I?B???logP?B???log213?13.208 bit
C52 ?3.976 dit
2、5 设在一只布袋中装有100只对人手的感觉完全相同的木球,每只上涂有1种颜色。100只球的颜色有下列三种情况:
(1) 红色球与白色球各50只; (2) 红色球99只,白色球1只; (3) 红,黄,蓝,白色各25只。
求从布袋中随意取出一只球时,猜测其颜色所需要的信息量。 解:猜测木球颜色所需要的信息量等于木球颜色的不确定性。令
R——“取到的就是红球”,W——“取到的就是白球”, Y——“取到的就是黄球”,B——“取到的就是蓝球”。 (1)若布袋中有红色球与白色球各50只,即
501? 10021则 I?R??I?W???log2?log22?1 bit
2 P?R??P?W??(2)若布袋中红色球99只,白色球1只,即
P?R??991?0.99 P?W???0.01 100100则 I?R???log2P?R???log20.99?0.0145 bit I?W???log2P?W???log20.01?6.644 bit
(3)若布袋中有红,黄,蓝,白色各25只,即
251? 10041则 I?R??I?Y??I?B??I?W???log2?2 bit
4 P?R??P?Y??P?B??P?W??2、7 设信源为
x2x3x4x5x6??X??x1??P??0.20.190.180.170.160.17?
??X??求??P?x?logP?x?,井解释为什么??P?x?logP?x??logi2i6i6ii2i26,不满足信源熵的极
值性。
解: ??P?x?logP?x?
i2ii6???0.2log20.2?0.19log20.19?0.18log20.18?0.17log20.17?0.16log20.16?0.17log20.17?
?2.657 bit/symbol
??P?xi?log2P?xi??log26?2.585
i6不满足极值性的原因就是
?P?x??1.07?1,不满足概率的完备性。
ii62、8 大量统计表明,男性红绿色盲的发病率为7%,女性发病率为0、5%,如果您问一位男
同志就是否为红绿色盲,她回答“就是”或“否”。
(1)这二个回答中各含多少信息量? (2)平均每个回答中含有多少信息量?
(3)如果您问一位女同志,则答案中含有的平均信息量就是多少?
解:对于男性,就是红绿色盲的概率记作P?a1??7%,不就是红绿色盲的概率记作
P?a2??93%,这两种情况各含的信息量为
100I?a1??log2?1Pa?log?3.83 bit ???1?2?7100I?a2??log2?1Pa?log?0.105 bit ???2?2?93平均每个回答中含有的信息量为
H?A??P?a1?I(a1)?P?a2?I(a2)
793?3.83??0.105 100100 ?0.366 bit/回答
?对于女性,就是红绿色盲的概率记作P?b1??0.5%,不就是红绿色盲的记作
P?b2??99.5%,则平均每个回答中含有的信息量为
H?B??P?b1?I(b1)?P?b2?I(b2)
510009951000 ?log2??log2100051000995 ?0.045 bit/回答 H?A??H?B?
?联合熵与条件熵
2、9 任意三个离散随机变量X、Y与Z,求证:
H(XYZ)?H(XY)?H(XZ)?H(X)。
证明:
方法一:要证明不等式证明下式成立:
H?X,Y,Z??H?X,Y??H?X,Z??H?X??0 根据熵函数的定义
H?X,Y,Z??H?X,Y??H?Z,X??H?X?成立,等价
H?X,Y,Z??H?X,Y??H?X,Z??H?X??????p?xiyjzk?logp?xiyjzk?????p?xiyjzk?logp?xiyj?XYZXYZ????p?xiyjzk?logp?xizk?????p?xiyjzk?logp?xi?XYZXYZ?????p?xiyjzk?logXYZp?xiyjzk?p?xi?p?xiyj?p?xizk??p?xiyj?p?xizk????loge?????p?xiyjzk???1?(信息论不等式)pxyzpxXYZ???ijk??i?????p?xiyj?p?xizk???loge??????????p?xiyjzk??p?xi?XYZ???XYZ?????loge??????p?yj|xi?p?xizk?????p?xiyjzk???XYZXYZ???loge???1?1??0所以H?X,Y,Z??H?X,Y??H?X,Z??H?X?等号成立的条件为p?xiyj?p?xizk??p?xi?p?xiyjzk?得证
方法二:因为
H(XYZ)?H(XY)?H(Z|XY)
H(XZ)?H(X)?H(Z|X)
所以,求证不等式等价于
H(Z|XY)?H(Z|X)
因为条件多的熵不大于条件少的熵,上式成立,原式得证。
2、11 设随机变量X?{x1,x2}?{0,1}与Y?{y1,y2}?{0,1}的联合概率空间为
?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)??P???18?
383818??XY??定义一个新随机变量Z?X?Y(普通乘积)。
(1)计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ);
(2)计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY);
(3)计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y);
131 解 (1)p?x?0??p?x?0,y?0??p?x?0,y?1????
8821 p?x?1??1?p?x?0??
2H?X????P?xi?logP?xi??1 bit/symbol
i p?y?0??p?x?0,y?0??p?x?1,y?0?? p?y?1??1?p?y?0??131?? 8821 2H?Y????p?yj?logp?yj??1 bit/symbol
j1337P(z?0)?P(xy?00)?P(xy?01)?P(xy?10)????
888871P(z?1)?1?P(z?0)?1??
88可得Z?XY的概率空间如下
?z?0z?1??Z?? 1? ?P(Z)???7???8??8711??7H(Z)???p(zk)???log?log)??0.544bit/symbol
888??8K由p(xz)?p(x)p(zx)得
211p(x?0,z?0)?p(x?0)p(z?0x?0)??1?
221p(x?0,z?1)?p(x?0)p(z?1x?0)??0?023p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?
81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bit/symbol
28888??2ik由对称性可得
H(YZ)??1.406bt/symbol
由p(xyz)?p(xy)p(zxy),又p(zxy)或者等于1，或者等于0.
1p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1?
81p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)??0?08p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?1?3p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)??0?08p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?1?3p(x?1,y?0,z?1)?p(x?1,y?0)p(z?1x?1,y?0)??0?081p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)??0?08p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)?1??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk383 8181333311??1???log?log?log?log??1.811bit/symbol8888888??8(2)
H?XY??-?log
?1?81333311??log?log?log??1.811bit/symbol 8888888?H?X/Y?=H?XY?-H?Y??1.811?1?0.811bit/symbol 根据对称性,