内容发布更新时间 : 2024/12/25 10:33:31星期一 下面是文章的全部内容请认真阅读。
? 推导求条件熵为什么要用联合概率？
先取一个yj，在已知yj条件下，X的条件熵
H(X/yj)为：
H(X/yj)??p(xi/yj)I(xi/yj)???p(xi/yj)log2p(xi/yj)
i?1i?1nn上式为仅知某一个yj时X的条件熵，它随着yj的变化而变化，仍然是一个随机变量。已知所有的yj时X仍然存在的不确定度，应该是进一步把H(X/yj)在Y集合上取数学期望，
H(X/Y)??p(yj)H(X/yj)j?1m????p(yj)p(xi/yj)log2p(xi/yj)j?1i?1mnmn
????p(xiyj)log2p(xi/yj)j?1i?1
? 条件熵是一个确定值，表示信宿在收到Y后，
信源X仍然存在的不确定度。这是由于传输失真造成的； ?
H(X/Y)称为信道疑义度，也称损失熵；
? 条件熵H(Y/X)为噪声熵。
[例2.1.4 条件熵] 已知X，Y?{0,1},XY构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。
解： 根据条件熵公式：
H(X/Y)????p(xiyj)log2p(xi/yj)
j?1i?1mnp(xi/yj)?p(xiyj)2p(yj)
首先求p(yj)??p(xiyj)，有
i?131p(0)?p(y1?0)?p(x1y1?00)?p(x2y1?10)???c881同理可求得p(1)?p(y2?1)?2从而有：p(00)p(x1y1?00)1/81p(0/0)?p(x1?0/y1?0)?????p(1/1)p(0)p(y1?0)1/243p(1/0)?p(0/1)?,4H(X/Y)??p(00)log2p(0/0)??p(01)log2p(0/1)?p(10)log2p(1/0)?p(11)log2p(1/1)133??1???log2?log2??2?0.406484??8
(bit/symbol)? 最大离散熵定理 H(X)?log2n 证明：先证明一个常用不等式：ln x?x-1 用图形表示为：
yy=x-1y=ln x10x-1
1令f(x)=ln x –(x-1) ,则 f(x)?x?1 , 可见当x=1时，
'?1f(x)=0,它是f(x)的极值。且 f(x)?x2?0，故此极值
''为极大值。
所以有： f(x)? f(1)=0 ，当且仅当x=1时取等号。 这时 f(x)=ln x-(x-1) ?0 => lng x≤(x-1) 证法一：
n1H(X)?log2n??p(xi)log2??p(xi)log2np(xi)i?1i?1n
1??p(xi)log2np(xi)i?1n
令x?1利用lnx?x?1,x?0,且log2x?lnxlog2e np(xi)，
n1H(x)?log2n??p(xi)[?1]log2enp(xi)i?11??[?p(xi)]log2ei?1n?0H(X)?log2nqipi ，则有
n
?证法二：现令x?qiqi log(p)?p?1 ， 两边取统计平均值
iiqiqi求得： ?pilogp??pi(p?1)??qi?1?0
iiiii? ??plogpiii???pilogqii当qi??logn
1n结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。
? 可加性的证明
H(XY)????p(xiyj)log2p(xiyj)ij????p(xiyj)log2[p(xi)p(yj/xi)]ij????p(xi)p(yj/xi)log2p(xi)???p(xiyj)log2p(yj/xi)ijij?????p(xi)log2p(xi)??p(yj/xi)??H(Y/X)i?j??H(X)?H(Y/X)利用:p(xiyj)?p(xi)p(yj/xi)?p(yjj/xi)?1
? 条件熵不大于信源熵（无条件熵）的证明 证明：
H(X/Y)????p(xiyj)log2p(xi/yj)ij?????p(yj)??p(xi/yj)log2p(xi/yj)?j?i??????p(yj)??p(xi/yj)log2p(xi)?j?i????????p(yj)p(xi/yj)?log2p(xi)i?j????p(xi)log2p(xi)i
?H(X)其中,?p(yj)p(xi/yj)??p(xiyj)?p(xi)jj? 上凸性的证明