内容发布更新时间 : 2024/11/16 14:40:31星期一 下面是文章的全部内容请认真阅读。

x1 x2 联合分布： x y x1 x1 y1 2/3 3/20 5/6 3/4 y2 1/6 1/4 4/5 1/5 1/5 12/15 1/20 11/60 49/60 ?2231?H?XY??H?,,,??3152020??1.404bit符号

?0.973nat符号?0.423hart符号H?Y??H?49/60,11/60??0.687bit符号?0.476nat符号?0.207hart符号 H?X|Y??H?XY??H?Y??0.717bit符号?0.497nat符号?0.216hart符号

(4)

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（ ）

A、互信息量一定不大于C B、交互熵一定不小于C

C、有效信息量一定不大于C D、条件熵一定不大于C

4、在串联系统中，有效信息量的值（ ）

A、趋于变大 B、趋于变小 C、不变 D、不确定

5、若BSC信道的差错率为P，则其信道容量为：（ ） A、

H?p?

H?Y|X??H?XY??H?X??0.682bit符号?0.473nat符号?0.205hart符号

(5)

p??1?plog2??1?p?p????? B、

C、

1?H?p?

I?X;Y??H?X??H?X|Y??0.00504bit符号?0.00349nat符号?0.00152hart符号

D、?Plog(P)

二、填空题（20分，每空2分）

1、(7,4)线性分组码中，接受端收到分组R的位数为____ ，伴随式S可能的值有____ 种,差错图案e的长度为 ，系统生成矩阵Gs为____ 行的矩阵，系统校验矩阵Hs为____ 行的矩阵，Gs和Hs满足的关系式是 。

2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为 。

3、香农编码中,概率为P(xi)的信源符号xi对应的码字Ci的长度Ki应满足不等式 。

3、设有一个信道，其信道矩阵为

?0.250.50.25??0.250.250.5?，（填??则它是 信道??0.50.250.25??(三)

一、 选择题（共10分，每小题2分）

1、有一离散无记忆信源X，其概率空间为

x2x3x4??X??x1??P??0.50.250.1250.125?，则其无记忆二????次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为

0000??P(y1/x1)P(y2/x1)?0?0P(y/x)P(y/x)003242???000P(y5/x3)P(y6/x3)??0?，其中P(yj/xi)两两不相等，则该信道为

A、一一对应的无噪信道

B、具有并归性能的无噪信道 C、对称信道

对称，准对称），其信道容量是 比

特/信道符号。

三、（20分）??X??x1x2??P(X)?????0.50.5?，通过一个干扰信?道，接受符号集为

Y??y1y2?，信道转移矩阵为

??13??44??31??? ?44??试求（1）H(X),H(Y),H(XY);（7分）

(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X)。（3分）

(4)该信道的容量C（3分）

（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。（2分）

计算结果保留小数点后2位,单位为比特/符号。

四、（9分）简述平均互信息量的物理意义，并写出对应公式。

五、（10分）假设英文字母表(n=26),密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？请写出具体的步骤。

六、（10分）设有离散无记忆信源，其概率分布如下：

?X???x1x2x3x4x5x6x7???P(X)?????1111111?? ?24816326464??对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。 七、信道编码（21分）

??1000111?现有生成矩阵G0100110?s????0010011?? ?0001101??

1. 求对应的系统校验矩阵Hs。（2分）

2求该码字集合的最小码字距离d、最大检错能力lmax 、最大纠错能力t max 。（3分）

2. 填写下面的es表 （8分） e s 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 4. 现有接收序列为r?(1100100)，求纠错译码输

出c?。（4分）

5. 5. 画出该码的编码电路 （4分）

(四)

四、简答题（共20 分，每题10分

1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息

量之间的关系。

2. 简单介绍哈夫曼编码的步骤 五、计算题（共40 分）

1． 某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，

?421p(2)=0.5，失真矩阵为D????032?。 ???201??求Dmax、Dmin和R (Dmax)。（10分）

?111?2． 设对称离散信道矩阵为P??1?3366??1111?，求信道容???6633??量C。（10分）

3． 有一稳态马尔可夫信源，已知转移概率为p(S1/ S1)= 2/3，

p(S1/ S2)= 1。求：

(1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 (3) 求出信源的极限熵。 （20分）

（五）

一、（11’）填空题

（1） 1948年，美国数学家 香农 发表了题为

“通信的数学理论”的长篇论文，从而创立了信息论。

霍夫曼编码方法构造的是最佳码。

（ ? ）

（2） 必然事件的自信息是 0 。

（9）信息率失真函数R(D)是关于平均失真度D的上凸函数.

（3） 离散平稳无记忆信源X的N次扩展信源的熵等于离

散信源X的熵的 N倍 。

（4） 对于离散无记忆信源，当信源熵有最大值时，满足条

件为__信源符号等概分布_。

（5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟

一的是 香农编码 。

（6） 已知某线性分组码的最小汉明距离为3，那么这组码

最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（7） 设有一离散无记忆平稳信道，其信道容量为C，只要

待传送的信息传输率R__小于___C（大于、小于或者等于），

则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（8） 平均错误概率不仅与信道本身的统计特性有关，还与

___译码规则____________和___编码方法___有关

二、（9?）判断题

（1） 信

息

就

是

一

种

消

息

。 （ ? ）

（2） 信息论研究的主要问题是在通信系统设计中如何实

现信息传输、存储和处理的有效性和可靠性。 （ ? ）

（3） 概率大的事件自信息量大。 （ ? ）

（4） 互信息量可正、可负亦可为零。 （ ? ） （5） 信源剩余度用来衡量信源的相关性程度，信源剩余度

大说明信源符号间的依赖关系较小。 （ ? ）

（6） 对于固定的信源分布，平均互信息量是信道传递概率

的下凸函数。 （ ? ）

（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非

奇异码。 （ ? ）

（8） 信源变长编码的核心问题是寻找紧致码（或最佳码），

( ? )

三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A表示“大学生”这一事件，B表示“身高1.60

以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）

I(A|B)=-log0.375=1.42bit （1分）

五、（18’）.黑白气象传真图的消息只有黑色和白色两种，

求：

1 ） 黑色出现的概率为 0.3 ，白色出现的概率为

0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H?X?；

2） 假设黑白消息出现前后有关联，其依赖关系为

，

，

，

，求其熵 H ?

?X?。

3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

解： 1 ） 信源模型为 （ 1 分）

（2分）

2）由题意可知该信源为一阶马尔科夫信源。

（2分）

由 4分）

得极限状态概率

（

2分）

3分） ?X)1?1?H(log?0.11922 （1分）

?H?(X)2?1?

log2?0.4472

?2??1。说明：当信源的符号之间有依赖时，信源输出消息

的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）

六、（18’）.信源空间为

??X??x1x2x3x4x5x6x7??P(X)?????0.20.190.180.170.150.10.01??，试分别构造二元香农码和二元霍夫曼码，计算其平均码长

和编码效率（要求有编码过程）。

7

L??p(ai)li?3.14(X)i?1R?HL?2.613.14?0.831七（6’）.设有一离散信道，其信道传递矩阵为

??1?4?1/21/31/6?p(x1)??1?1/61/21/3?，并设??p(x2)??/31/61/2??1???2，试分别按最大后验?p(x)1??3?4概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。1）（3分）最小似然译码准则下，有，

2）（3分）最大后验概率准则下，有，

八（10?）.二元对称信道如图。

1）若p?0??34，p?1??14，求H?X?、H?X|Y?和I?X;Y?；

2）求该信道的信道容量。

解：1）共6分 H?X|Y??0.749bit/符号

2）， （3分）此时输入概率分布为等概率分布。（1分）

九、（18?）设一线性分组码具有一致监督矩阵

?000111?H???011001?

?1011??10??1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。

3）写出此分组码的所有码字。 4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分） 2）设码字

C???C5C4C3C2C1C0?由HCT?0T得

??C2?C1?C0?0?C4?C?3?C0?0 ?C5?C3?C1?C0?0 （3分）

令监督位为

?C2C1C0?，则有

??C2?C5?C3?C1?C5?C?4

?C0?C4?C3 （3分）

??100110??010011?生成矩阵为??001101??? （2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分） 4）由ST?HRT得

S??101?，（2分）该码字在第5位发生错误，（101001）

纠正为（101011），即译码为（101001）（1分）

（六）

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念

的异同？

2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 6.解释无失真变长信源编码定理。 7.解释有噪信道编码定理。