内容发布更新时间 : 2024/12/23 21:21:28星期一 下面是文章的全部内容请认真阅读。
1． 有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为：
1/3 ○ ○
2/3 (x1) 1 (x2)
在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率p(x1)和p(x2) 立方程：p(x1)?p(x1x1)p(x1)+p(x1x2)p(x2)
=23p(x1)?p(x2)
p(x2)?p(x2x1)p(x1)+p(x2x2)p(x2) =13p(x1)?0p(x2) p(x1)?p(x2)=1 得p(x1)?马尔可夫信源熵H = ?34 p(x2)?14
?p(x)?p(xiIJjxi)logp(xjxi) 得 H=0.689bit/符号
2．设有一个无记忆信源发出符号A和B，已知p(A)?14.p(B)?34。求：
①计算该信源熵；
②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①H(X)???p(x)logp(x) =0.812 bit/符号
iiX②发出二重符号序列消息的信源,发出四种消息的概率分别为
33111p(AA)?14?4?16 p(AB)?4?4?16
33391p(BA)?34?4?16 p(BB)?4?4?16
用费诺编码方法 代码组 bi BB 0 1 BA 10 2 AB 110 3 AA 111 3
2无记忆信源 H(X)?2H(X)?1.624 bit/双符号 平均代码组长度 B2=1.687 bit/双符号
H(X2)R2?=0.963 bit/码元时间
B③三重符号序列消息有8个,它们的概率分别为
精选
p(AAA)?p(BBA)? BBB BBA BAB ABB AAB BAA ABA
AAA
2764964164964 p(AAB)? p(BAB)?364 p(BAA)?364 p(ABA)?9643642764
964 p(ABB)? p(BBB)?用霍夫曼编码方法 代码组 bi
0 0 1 0 (1964)1 110 3
4 1 (1864) (64) 1 101 3
964964 0 0 100 3
6)1 11111 5 1 (64364364 0 1 11110 5
4)0 11101 5 1 (64364164 0 11100 5
H(X3)?3H(X)=2.436 bit/三重符号序列 B3=2.469码元/三重符号序列
H(X3)R3==0.987 bit/码元时间
B3．已知符号集合{x1,x2,x3?}为无限离散消息集合，它们的出现概率分别为 p(x1)?12，
p(x2)?14p(x3)?1··p(xi)?8·
1···求： i2① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。 解: ①
xi p(xi) 121418Pa(xj) 0 ?logpa(xj) bi 1 2 3 ?i ?精选
代码组 0 10 110 ?111…110(i-1个1) ?x1 1 2 3 ?i ?x2 x3 ?1212 +14 ?12i ?12xi ? +14+…+1 i?12 ? ?②H(X)???p(x)logp(x)=2 bit/符号
iiIb??Pibi??=2码元/符号
IR?H(x)?1bit/码元时间 bR=100% C③二进制信道C=1 bit/码元时间 信源编码的编码效率?=
4． 已知一个信源包含八个符号消息,它们的概率分布如下表，求： A 0.1 B 0.18 C 0.4 D 0.05 E 0.06 F 0.1 G 0.07 H 0.04 ① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。 解: ①H(X)???p(x)logp(xX)=2552bit/符号,时间熵Ht?2.552bit/s
Rt=Ht?2.552bit/s ②霍夫曼编码
符号 pi 代码组 bi C 0.4 0 0 1 B 0.18 0 110 3 A 0.1 0 (1,0) 100 3 0 (0.23) 1
F 0.1 0 1 1 (0.6) 1111 4 G 0.07 1 1011 4 1
E 0.06 0 (0.13) 1 1010 4 D 0.05 1 (0.19) 11101 5 0
H 0.04 0 (0.09) 11100 5
平均码长b=2.61码元/符号
H(x)?0.9779bit/码元时间 bR 信源编码的编码效率?==97.79%
CR?精选