标签:
1.设X是一个随机变量,取值范围是一个包含M个字母的符号集。证明0<=H(x)<=log2M。
因为所有概率分布P所构成的熵,
在等概率时为最大且为 Hmax(X)=log2M
所以 H(X)<=log2M.
因为x为一个随机变量,出现的概率为P(X).
根据概率的公理化定义有: 0<=P(X)<=1
已知 H(X)=-E P(X)*logP(X)则H(X)>=0
所以 0<=H(X)<=log2M
2.证明如果观察到一个序列的元素为iid分布,则该序列的熵等于一阶熵。
证: 由于H(x)=limn→∞(1/n*Gn),则
Gn=-Σi=n ......Σi=1 P(Ai) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)
当该序列为iid分布时,得
Gn=-nΣi=1P(x1=i1) logP(x1=i1)
所以H(x)=-ΣP(x1) logP(x1) 为一阶熵
3.给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵:
(a) P(a1)= P(a2)= P(a3)= P(a4)=1/4
解: H(a)=-4×1/4 log(1/4)=-log(1/4)=-(-2)
H(a)=2 bit/字符
(b) P(a1)=1/2, P(a2)=1/4, P(a3)= P(a4)=1/8
解:H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8
H=7/4=1.75 bit/字符
(c) P(a1)=0.505, P(a2)=1/4, P(a3)=1/8, P(a4)=0.12
解:H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12
H=1.135 bit/字符
标签:
原文地址:http://www.cnblogs.com/vrwr/p/5865834.html