内容发布更新时间 : 2024/9/22 23:38:34星期一 下面是文章的全部内容请认真阅读。
一副充分洗乱的牌（含52张），试问：
（1）任一特定排列所给出的不确定性是多少
（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为
52P52?52??8.066?1067
因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生
概率为
P?A??可得，该排列发生所给出的信息量为
I?A???log2P?A??log252??225.58 bit ?67.91 dit
（2）设事件B为从中抽取13张牌，所给出的点数互不相同。
13 扑克牌52张中抽取13张，不考虑排列顺序，共有C52种可能的组合。13张牌点数
1?1.24?10?68 52?互不相同意味着点数包括A，2，…，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为4。因为每种组合都是等概率发生的，所以
13413413?1339?? P?B??13??1.0568?10?4
C5252?则发生事件B所得到的信息量为
413 I?B???logP?B???log213?13.208 bit
C52 ?3.976 dit
设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：
(1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令
R——“取到的是红球”，W——“取到的是白球”， Y——“取到的是黄球”，B——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即
501? 10021则 I?R??I?W???log2?log22?1 bit
2 P?R??P?W??（2）若布袋中红色球99只，白色球1只，即
P?R??991?0.99 P?W???0.01 100100则 I?R???log2P?R???log20.99?0.0145 bit I?W???log2P?W???log20.01?6.644 bit
（3）若布袋中有红，黄，蓝，白色各25只，即
251? 10041则 I?R??I?Y??I?B??I?W???log2?2 bit
4 P?R??P?Y??P?B??P?W?? 设信源为
x2x3x4x5x6??X??x1??P??0.20.190.180.170.160.17?
??X??求??P?x?logP?x?，井解释为什么??P?x?logP?x??logi2i6i6ii2i26，不满足信源熵的
极值性。
解： ??P?x?logP?x?
i2ii6???0.2log20.2?0.19log20.19?0.18log20.18?0.17log20.17?0.16log20.16?0.17log20.17?
?2.657 bit/symbol
??P?xi?log2P?xi??log26?2.585
i6不满足极值性的原因是
?P?x??1.07?1，不满足概率的完备性。
ii6 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为%，如果你问一位男同志
是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量 （2）平均每个回答中含有多少信息量
（3）如果你问一位女同志，则答案中含有的平均信息量是多少
解：对于男性，是红绿色盲的概率记作P?a1??7%，不是红绿色盲的概率记作
P?a2??93%，这两种情况各含的信息量为
100I?a1??log2?1Pa?log?3.83 bit ???1?2?7100I?a2??log2?1Pa?log?0.105 bit ???2?2?93平均每个回答中含有的信息量为
H?A??P?a1?I(a1)?P?a2?I(a2)
793?3.83??0.105 100100 ?0.366 bit/回答
?对于女性，是红绿色盲的概率记作P?b1??0.5%，不是红绿色盲的记作
P?b2??99.5%，则平均每个回答中含有的信息量为
H?B??P?b1?I(b1)?P?b2?I(b2)
510009951000 ?log2??log2100051000995 ?0.045 bit/回答 H?A??H?B?
?联合熵和条件熵
任意三个离散随机变量X、Y和Z，求证：
H(XYZ)?H(XY)?H(XZ)?H(X)。
证明：
方法一：要证明不等式H价证明下式成立：
H?X,Y,Z??H?X,Y??H?X,Z??H?X??0 根据熵函数的定义
?X,Y,Z??H?X,Y??H?Z,X??H?X?成立，等
H?X,Y,Z??H?X,Y??H?X,Z??H?X??????p?xiyjzk?logp?xiyjzk?????p?xiyjzk?logp?xiyj?XYZXYZ????p?xiyjzk?logp?xizk?????p?xiyjzk?logp?xi?XYZXYZ?????p?xiyjzk?logXYZp?xiyjzk?p?xi?p?xiyj?p?xizk??p?xiyj?p?xizk????loge?????p?xiyjzk???1?(信息论不等式)pxyzpxXYZ???ijk??i?????p?xiyj?p?xizk???loge??????????p?xiyjzk??px??XYZ??i?XYZ?????loge??????p?yj|xi?p?xizk?????p?xiyjzk???XYZXYZ???loge???1?1??0所以H?X,Y,Z??H?X,Y??H?X,Z??H?X?等号成立的条件为p?xiyj?p?xizk??p?xi?p?xiyjzk?得证
方法二：因为
H(XYZ)?H(XY)?H(Z|XY)
H(XZ)?H(X)?H(Z|X)
所以，求证不等式等价于
H(Z|XY)?H(Z|X)
因为条件多的熵不大于条件少的熵，上式成立，原式得证。
设随机变量X?{x1,x2}?{0,1}和Y?{y1,y2}?{0,1}的联合概率空间为
?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)??P???18?
383818??XY??定义一个新随机变量Z?X?Y（普通乘积）。
（1）计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；
（2）计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；
（3）计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y)；
131 解 （1）p?x?0??p?x?0,y?0??p?x?0,y?1????
8821 p?x?1??1?p?x?0??
2H?X????P?xi?logP?xi??1 bit/symbol
i p?y?0??p?x?0,y?0??p?x?1,y?0?? p?y?1??1?p?y?0??131?? 8821 2H?Y????p?yj?logp?yj??1 bit/symbol
j1337P(z?0)?P(xy?00)?P(xy?01)?P(xy?10)????
888871P(z?1)?1?P(z?0)?1??
88可得Z?XY的概率空间如下
?z?0z?1??Z?? 1? ?P(Z)???7???8??8711??7H(Z)???p(zk)???log?log)??0.544bit/symbol
888??8K由p(xz)?p(x)p(zx)得
211p(x?0,z?0)?p(x?0)p(z?0x?0)??1?
221p(x?0,z?1)?p(x?0)p(z?1x?0)??0?023p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?
81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bit/symbol
28888??2ik由对称性可得
H(YZ)??1.406bt/symbol
由p(xyz)?p(xy)p(zxy),又p(zxy)或者等于1，或者等于0.
1p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1?
81p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)??0?08p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?1?3p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)??0?08p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?1?3p(x?1,y?0,z?1)?p(x?1,y?0)p(z?1x?1,y?0)??0?081p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)??0?08p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)?1??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk383 8181333311??1???log?log?log?log??1.811bit/symbol8888888??8（2） H?XY??-?log
?1?81333311??log?log?log??1.811bit/symbol 8888888?H?X/Y?=H?XY?-H?Y??1.811?1?0.811bit/symbol 根据对称性，