内容发布更新时间 : 2024/12/24 4:27:26星期一 下面是文章的全部内容请认真阅读。

展。而且，信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函数，这同时也为信息论概念和方法在除通信领域以外的其他领域内的应用提供了理论基础，拓宽了信息论的应用范围。

2 广义信息熵

由于香农熵的概念在连续随机变量下失去意义，并不能解决实际生活中的一些问题，因此为了解决具体问题，人们也提出了各种各样的广义熵。其中最重要的是1962 年Renyi 提出的Renyi 熵，在统计检验和图像处理中得到极大应用；1988 年，Tsallis 在Boltzmann-Gibbs(B-G)统计中引入了Tsallis 熵的数学表达式，Tq=

k(??qd??1)，其中k 为Boltzmann 常数，ρ是概率分布，满足∫1?qq?1ρdΩ = 1，q是非负参数，且limTq??k??ln?d??Hs，应用到统计力学，衍生出Tsallis 统计。Tsallis 熵是建立在非广延动力学基础上的，引入了非广延系数q ，把熵的方法推广到不具有可加性（子系统间影响显著）的系统中。Tsallis 熵是一种新的信息度量方法，是Shannon 熵的扩展，已经应用于图像处理和其他信息处理技术中。下面介绍两种广义信息熵及其与Shannon熵的联系与对比。 1、Renyi 熵

对任意概率分布P（r1，r2，?，rM），参数为q的Renyi 熵定义为[4]

M1HR(r)=ln(?riq)

1-qi?12、Tsallis 熵

对任意概率分布P（r1，r2，?，rM），参数为q的Tsallis熵定义为

M1HT(r)=(1??riq)

1-qi?13、Renyi 熵、Tsallis 熵、Shannon熵的联系

当参数q→1时，Renyi熵与Tsallis熵都等同于Shannon熵，比如

Mdqlnr?iM11dqi?1limln(?riq)?lim??limMq?1?01-qq?1?0q?1?0di?1(1?1)riq?dqi?1?ri?1Mqilnri???rilnri?Hs

i?1M这里用到了?ri=1及洛彼达法则[5]。

i?1M当参数q ≠ 1时，Renyi 熵与Tsallis熵有如下关系：

HR=

4、三种熵的性质对比

对于Renyi 熵来说，它具备Shannon 熵的七个基本性质。但是，对于Tsallis 熵则不满足独立可加性，它是最具有代表性的一种非广延熵。也就是说Tsallis 熵与Shannon 熵最显著的区别在于可加性。设a和b为两个独立系统，则混合系统a + b的Tsallis熵表示为

HT（a+b）= HT（a）+HT（b）+

综合以上两种广义熵的定义：

MM11qHR?r??ln(?ri)和HT(r)=(1??riq)

1-qi?11-qi?11ln(1?(1?q)HT) 1-q1-qHT?a?HT?b?[6] k其中q > 0且q ≠ 1为一参数。易知当q →1时，HR?r?和HT?r? 即为Hs?r? ，因此，这两种熵比Shannon 熵更具有普适性[7]。

3 广义信息熵在科学研究与实践中的应用

广义信息熵比Shannon 熵更具有普适性，这些广义熵的概念及理论在其相关 领域的科研与实践中发挥着特别重要的作用，运用信息熵概念及理论去揭开生命遗传物质DNA遗传密码，便是典型的一例，这是大家所熟知的。

在现代农业系统的研究中，利用广义信息熵，相应的定义农业系统熵为： S=?dH （1） G其中，G为单位面积上人工投入的物质能量(可综合折算)。dH 为相应的物质势能损失，即投入与产出的能量之差(无效地耗能部分)，用它来评价农业生产的效

率的优劣，这比用传统的评价方法更客观、更理想[8]。

在学校教学质量评价体系上，方法之一是通过计算考试成绩的平均分、标准差、整体的中位数与平均分的比值等来评价成绩状况、试题难易度与区分度等。但笔者认为这些指标还存在一定的片面性与局限性。也具有一定的经验性，缺乏局部与整体的联系。为克服这方面的不足，我们从统计熵概念出发，引入成绩分布熵参与分析，可使评价更准确、更全面、更客观。定义： S=-? ?aiA? ln?aiA?

式中A为分析对象的总分数，ai为设定区域的总分数。当分析某个班某科目成绩时，A 为全班总成绩，ai可以是每10分为间隔(或者间隔更小)来计算各段的总分．从而求出各段上的分布熵?si及总熵 ??si实践表明，若成绩呈正态分布时， 值一般在1.5～1.7之间，当S <1.2时，成绩的概率分布趋于集中，说明试卷的区分度小，或其它问题。还可分析与比较各分数段上的熵值，以了解具体的成绩分布状况。在某科目的统考成绩评价上，仍可应用(1)式，只是A 为各班成绩总和，ai为各班成绩，计算熵值可得出各班成绩的定量比较。

类似的应用还很多，熵概念的推广，引发了许多新概念，如在研究生物进化方面引入了生物熵；模糊数学中，为描述模糊度，引入了模糊熵；为描述和研究某量在空间中分布状态的不均匀性或丰富程度，引入了物理场熵；还有像浓度场熵、温度场熵、气象学熵、经济熵等等。同时也引发了许多新的交叉学科，如将熵理论引入生命科学理论，产生了生物热力学和生物信息论两个新的分支学科，在经济学领域，由于熵增原理为经济增长的自然限界奠定了理论基础，导致了熵经济学、环境经济学和资源物理学的形成。

4 总结

由于Shannon 熵自身存在的局限性，随之产生了各种广义熵，广义熵在之后除自身的理论经历许多重要的发展之外，其概念和原理也正迅速向众多学科渗透。全面理解各类广义熵的概念及其意义，对促进熵理论在信息论、控制论、哲学、经济学甚至天体物理与相对论等学科领域中的应用将有极大的意义。本文还存在不足之处：熵理论还是一个发展中的理论，本文仅仅介绍了其中两种比较重

要的广义信息熵，然而除了这两种广义信息熵外，还有其他很多形式的推广；在广义熵的应用方面，仅仅引入了成绩分布熵的概念，没有具体的实例验证，因此本文还有待进一步完善与补充。

参考文献：

[1] 沈世溢，吴忠华. 信息论基础与应用[M]. 北京：高等教育出版社，2004 [2] 叶中行. 信息论基础[M]. 北京：高等教育出版社，2004 [3] 朱雪龙. 应用信息论基础[M]. 北京：清华大学出版社，2001

[4] Renyi A. Foundations of Probability [M]. San Francisco: Holden-Day Inc, 1970

[5] Tsallis C.Possible generalization of Boltzmann-Gibbs statistics [J]. J.Stat.Phys,1988, 52:479-487

[6] Tsallis C. Mendes R S, Plastino A R. The role of constraints within generalized nonextensive statistics [J]. Physical A, 1998, 261: 534-554

[7] Tsallis C. Nonextensive Statistics: Theoretical, Experimental and Computational Evidences and Connections [J]. Brazilian J.Phys, 1999, 29(1): 1-35

[8] 习岗.广义熵在现代农业研究中的应用[J]．大学物理，1998：17(2)，38．

课 程 论 文 成 绩 评 定 表

学生姓名 朱萌 专业班级 信息与计算科学09级02班 论文题目 广义信息熵的推广与应用 指导教师评语及意见： 指导教师评阅成绩： 指导教师签字 年 月 日 评阅人评语及意见： 评阅人评阅成绩： 评阅人签字 年 月 日 总评成绩（以百分记）： 年 月 日