标签：
2-1：设X是一个随机变量，取值范围是一个包含M个字母的符号集，证明0≤H（X）≤long2M
答：① M为1只有一个字符时，概率为1.
②当M＞1时，设P（X）为概率，则
H(X)=-Σp(Xi)*logP(Xi)=-M*/(1/M)*log2M
0≤H(X)≤log2M
2-2：证明如果管擦到一个序列的元素为iid分布，则该序列的熵等于一阶熵。
答： H(X)=（lim n→∞）/（n*Gn）
又Gn=-Σi1=1^(i1=m)Σi2=1^(i2=m)……Σin=1^(1n=m)P(X1=i1,X2=i2,……Xn=in)*logP(X1=i1,X2=i2,……Xn=in)
所以Gn=-nΣi1=1^(i1=m)P(X1=i1)*logP(X1=i1)
所以H(X)=-ΣP(X1=i1)*logP(X1=i1)为一阶熵。
2-3：给定符号集A={a1,a2,a3,a4}，求下列条件下的一介熵：
（a）P（a1）=P（a2）=P（a3）=P（a4）=1/4
（b）P（a1）=1/2，P（a2）=1/4，P（a3）=P（a4）=1/8
（c）P（a1）=0.505，P（a2）=1/4，P（a3）=1/8，P（a4）=0.12
答： （a）一阶熵为：
-1/4*4*log21/4
=-log22-2
=2(bit)
（b）一阶熵为：
-1/2log21/2-1/4*log21/4-2*1/8*log21/8
=1/2+1/2+3/4
=7/4
=1.75(bit)
（c）一阶熵为：
-0.505*log20.505-1/4*log21/4-1/4*log21/4-0.12*log20.12
=-0.505*log20.505+1/2+1/2-0.12*log20.12
= 0.5+1-0.12*log20.12
= 1.5+0.3672
=1.8672（bit）
标签：
原文地址：http://www.cnblogs.com/makaihao/p/5845047.html
