内容发布更新时间 : 2024/6/3 22:40:50星期一 下面是文章的全部内容请认真阅读。
NANCHANG UNIVERSITY
学 院：专业班级： 学生姓名： 指导教师：
信息论与编码 实验报告
（2018年11月27日）
信息工程学院 系 电子信息工程系 学号：
目录
实验一 自信息量和熵源..............................................................................................
实验二
实验三
实验四
实验五
实验六
准对称信道容量.............................................................................................. 费诺不等式......................................................................................................
香农编码.......................................................................................................... 费诺编码.......................................................................................................... 霍夫曼编码......................................................................................................
实验一 自信息量和熵源
一、 实验要求
1、画出I=- 的函数图；
2、画出H(p)=-p -(1-p) 函数图。
二、 实验原理及理论分析
自信息量：
一个事件的自信息量就是对其不确定性的度量。直观地把自信息量定义为收到某消息获得的信息量=不确定性减少的量。而事件x发生的不确定性与事件发生的概率q(x)有关，概率越小，不确定性越大。定义I(x)=-logq(x)。
熵（平均自信息量）：
实际信源包含许多消息X=(x1,x2,…)，因此需要考虑整个信源自信息量的统计平均值。无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值，即平均自信息量H(X)定义为H(X)=- ，简称熵。H(X)是唯一确定集合X中任一事件 所需要的平均信息量，反应了X中事件 出现的平均不确定性。
三、 实验结果
四、 实验结果分析
由图可知，I(x)是p的单调递减函数，概率小的事件一旦发生则赋予的信
息量大，概率大的事件如果发生则赋予的信息量小。当p=1时，I(x)=0，表示确定事件发生得不到任何信息。当p=0时，I(x)→∞，表示不可能事件一旦发生，信息量将无穷大。
由图可知，对于二元信源，p=0或者p=1都对应确定事件的分布，因此熵值H(X)为0，而等概分布时，熵值H(X)取最大值为1。
五、 实验总结
通过这次实验，使用Matlab数值模拟信源熵和自信息量，进一步理解了
自信息量和熵的概念、计算和它们的物理意义。理论和实践的结合让我对这个知识点了解得更加深刻。
实验二 准对称信道容量
一、 实验要求
画出强对称信道容量数值模拟图。
二、 实验原理及理论分析
信道是信息传输的通道。信道可以按不同得特性进行分类，根据输入输出信号得特点可以分为以下四类：离散信道、连续信道、半连续信道、波形信道。根据统计特性，即转移概率得不同，信道又分为无记忆信道和有记忆信道两类。强对称信道是一种常见的离散无记忆信道，每一子集关于行、列都对称，它的输入符号x∈{0，1}，输出符号y∈{0，1}，信道特性可表示为信道矩阵。
信道转移概率p(y=0|x=0)=p(y=1|x=1)=1-p,p(y=1|x=0)=p(y=0|x=1)=p。 强对称信道的容量计算公式：
的行矢量
三、 实验结果
四、 实验结果分析
由图可知，p=0时，信道的输入符号和输出符号是一一对应的关系，此时信道容量C=log2，达到最大值。p=0.5时，信道的不确定性最大，此时信道容量C=0，这是一种最差的信道。p=1时，这是一种强噪信道，也是一种确定信道，此时信道容量也会达到最大值C=log2。
五、 实验总结
通过Matlab数值模拟强对称信道容量，观察最高点最低点，加深了对强对称信道这一类特殊信道的理解，验证了理论计算的正确性。
实验三 费诺不等式
一、 实验要求
画出费诺不等式示意图，以H(X|Y)为纵坐标，Pe为横坐标，画出函数H(Pe)+Pelog(r-1)随Pe变化的曲线图，标注logr点以及log(r-1)点。
二、 实验原理及理论分析
设信道输入符号X和输出符号Y取自同一符号集A= ，则传