内容发布更新时间 : 2024/12/27 3:28:01星期一 下面是文章的全部内容请认真阅读。
x1 x2 联合分布： x y x1 x1 y1 2/3 3/20 5/6 3/4 y2 1/6 1/4 4/5 1/5 1/5 12/15 1/20 11/60 49/60 ?2231?H?XY??H?,,,??3152020??1.404bit符号
?0.973nat符号?0.423hart符号H?Y??H?49/60,11/60??0.687bit符号?0.476nat符号?0.207hart符号 H?X|Y??H?XY??H?Y??0.717bit符号?0.497nat符号?0.216hart符号
(4)
D、具有扩展性能的无噪信道
3、设信道容量为C，下列说法正确的是：（ ）
A、互信息量一定不大于C B、交互熵一定不小于C
C、有效信息量一定不大于C D、条件熵一定不大于C
4、在串联系统中，有效信息量的值（ ）
A、趋于变大 B、趋于变小 C、不变 D、不确定
5、若BSC信道的差错率为P，则其信道容量为：（ ） A、
H?p?
H?Y|X??H?XY??H?X??0.682bit符号?0.473nat符号?0.205hart符号
(5)
p??1?plog2??1?p?p????? B、
C、
1?H?p?
I?X;Y??H?X??H?X|Y??0.00504bit符号?0.00349nat符号?0.00152hart符号
D、?Plog(P)
二、填空题（20分，每空2分）
1、(7,4)线性分组码中，接受端收到分组R的位数为____ ，伴随式S可能的值有____ 种,差错图案e的长度为 ，系统生成矩阵Gs为____ 行的矩阵，系统校验矩阵Hs为____ 行的矩阵，Gs和Hs满足的关系式是 。
2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为 。
3、香农编码中,概率为P(xi)的信源符号xi对应的码字Ci的长度Ki应满足不等式 。
3、设有一个信道，其信道矩阵为
?0.250.50.25??0.250.250.5?，（填??则它是 信道??0.50.250.25??(三)
一、 选择题（共10分，每小题2分）
1、有一离散无记忆信源X，其概率空间为
x2x3x4??X??x1??P??0.50.250.1250.125?，则其无记忆二????次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为
0000??P(y1/x1)P(y2/x1)?0?0P(y/x)P(y/x)003242???000P(y5/x3)P(y6/x3)??0?，其中P(yj/xi)两两不相等，则该信道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道 C、对称信道
对称，准对称），其信道容量是 比
特/信道符号。
三、（20分）??X??x1x2??P(X)?????0.50.5?，通过一个干扰信?道，接受符号集为
Y??y1y2?，信道转移矩阵为
??13??44??31??? ?44??试求（1）H(X),H(Y),H(XY);（7分）
(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X)。（3分）
(4)该信道的容量C（3分）
（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。（2分）
计算结果保留小数点后2位,单位为比特/符号。
四、（9分）简述平均互信息量的物理意义，并写出对应公式。
五、（10分）假设英文字母表(n=26),密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？请写出具体的步骤。
六、（10分）设有离散无记忆信源，其概率分布如下：
?X???x1x2x3x4x5x6x7???P(X)?????1111111?? ?24816326464??对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。 七、信道编码（21分）
??1000111?现有生成矩阵G0100110?s????0010011?? ?0001101??
1. 求对应的系统校验矩阵Hs。（2分）
2求该码字集合的最小码字距离d、最大检错能力lmax 、最大纠错能力t max 。（3分）
2. 填写下面的es表 （8分） e s 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 4. 现有接收序列为r?(1100100)，求纠错译码输
出c?。（4分）
5. 5. 画出该码的编码电路 （4分）
(四)
四、简答题（共20 分，每题10分
1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息
量之间的关系。
2. 简单介绍哈夫曼编码的步骤 五、计算题（共40 分）
1． 某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，
?421p(2)=0.5，失真矩阵为D????032?。 ???201??求Dmax、Dmin和R (Dmax)。（10分）
?111?2． 设对称离散信道矩阵为P??1?3366??1111?，求信道容???6633??量C。（10分）
3． 有一稳态马尔可夫信源，已知转移概率为p(S1/ S1)= 2/3，
p(S1/ S2)= 1。求：
(1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 (3) 求出信源的极限熵。 （20分）
（五）
一、（11’）填空题
（1） 1948年，美国数学家 香农 发表了题为
“通信的数学理论”的长篇论文，从而创立了信息论。
霍夫曼编码方法构造的是最佳码。
（ ? ）
（2） 必然事件的自信息是 0 。
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数.
（3） 离散平稳无记忆信源X的N次扩展信源的熵等于离
散信源X的熵的 N倍 。
（4） 对于离散无记忆信源，当信源熵有最大值时，满足条
件为__信源符号等概分布_。
（5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟
一的是 香农编码 。
（6） 已知某线性分组码的最小汉明距离为3，那么这组码
最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（7） 设有一离散无记忆平稳信道，其信道容量为C，只要
待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8） 平均错误概率不仅与信道本身的统计特性有关，还与
___译码规则____________和___编码方法___有关
二、（9?）判断题
（1） 信
息
就
是
一
种
消
息
。 （ ? ）
（2） 信息论研究的主要问题是在通信系统设计中如何实
现信息传输、存储和处理的有效性和可靠性。 （ ? ）
（3） 概率大的事件自信息量大。 （ ? ）
（4） 互信息量可正、可负亦可为零。 （ ? ） （5） 信源剩余度用来衡量信源的相关性程度，信源剩余度
大说明信源符号间的依赖关系较小。 （ ? ）
（6） 对于固定的信源分布，平均互信息量是信道传递概率
的下凸函数。 （ ? ）
（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非
奇异码。 （ ? ）
（8） 信源变长编码的核心问题是寻找紧致码（或最佳码），
( ? )
三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设A表示“大学生”这一事件，B表示“身高1.60
以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故
p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）
I(A|B)=-log0.375=1.42bit （1分）
五、（18’）.黑白气象传真图的消息只有黑色和白色两种，
求：
1 ） 黑色出现的概率为 0.3 ，白色出现的概率为
0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H?X?；
2） 假设黑白消息出现前后有关联，其依赖关系为
，
，
，
，求其熵 H ?
?X?。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
解： 1 ） 信源模型为 （ 1 分）
（2分）
2）由题意可知该信源为一阶马尔科夫信源。
（2分）
由 4分）
得极限状态概率
（
2分）
3分） ?X)1?1?H(log?0.11922 （1分）
?H?(X)2?1?
log2?0.4472
?2??1。说明：当信源的符号之间有依赖时，信源输出消息
的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
六、（18’）.信源空间为
??X??x1x2x3x4x5x6x7??P(X)?????0.20.190.180.170.150.10.01??，试分别构造二元香农码和二元霍夫曼码，计算其平均码长
和编码效率（要求有编码过程）。
7
L??p(ai)li?3.14(X)i?1R?HL?2.613.14?0.831七（6’）.设有一离散信道，其信道传递矩阵为
??1?4?1/21/31/6?p(x1)??1?1/61/21/3?，并设??p(x2)??/31/61/2??1???2，试分别按最大后验?p(x)1??3?4概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。1）（3分）最小似然译码准则下，有，
2）（3分）最大后验概率准则下，有，
八（10?）.二元对称信道如图。
1）若p?0??34，p?1??14，求H?X?、H?X|Y?和I?X;Y?；
2）求该信道的信道容量。
解：1）共6分 H?X|Y??0.749bit/符号
2）， （3分）此时输入概率分布为等概率分布。（1分）
九、（18?）设一线性分组码具有一致监督矩阵
?000111?H???011001?
?1011??10??1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。 4）若接收到码字（101001），求出伴随式并给出翻译结果。
解：1）n=6,k=3,共有8个码字。（3分） 2）设码字
C???C5C4C3C2C1C0?由HCT?0T得
??C2?C1?C0?0?C4?C?3?C0?0 ?C5?C3?C1?C0?0 （3分）
令监督位为
?C2C1C0?，则有
??C2?C5?C3?C1?C5?C?4
?C0?C4?C3 （3分）
??100110??010011?生成矩阵为??001101??? （2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分） 4）由ST?HRT得
S??101?，（2分）该码字在第5位发生错误，（101001）
纠正为（101011），即译码为（101001）（1分）
（六）
一、概念简答题（每题5分，共40分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念
的异同？
2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 6.解释无失真变长信源编码定理。 7.解释有噪信道编码定理。