数据压缩第二次作业（数据压缩第四版P301,2,3）

标签：

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证明：当M=1时，即只有一个字符，其概率为1，则

  H(X)=-∑(P(X1)*P(X1))=-1*(1/1)*log21=0
当M>1时，取每个字母的概率为P(Xi)，则
H(X)=-∑p(Xi)*logP(Xi)=-M*(1/M)*log2M=log2M
故0≤H(X)≤log2M

得证。

 2，证明如果观察到一个序列的元素为idd分布，则该序列的熵等于一阶熵。

证明：因为熵H(X)=limn→∞1/n*Gn

 Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

因为该序列被观察到每个元素是独立同（idd）分布的，所以

 Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则

 H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3.给定集合A{a1，a2，a3，a4},求下列条件下一阶熵。

（1）P(a1)=P（a2）=P（a3）=P（a4）=1/4
 答：H=-4*（1/4）*log2（1/4）=log24=2

（b）P(a1)=1/2 , P(a2)=1/4 , P(a3)=P(a4)=1/8 

 答：H=-（1/2）*log₂（1/2）+[-（1/4）*log₂（1/4）]+[-2*（1/8）*log₂（1/8)]

         =1/2+1/2+3/4

         =7/4

         =1.75

（c）P(a1)=0.505 ,  P(a2)=1/4 , P(a3)=1/4 , P(a4)=0.12

答：H=-0.505*log₂0.505+[-2*（1/4）*log₂（1/4）]+[-0.12*log₂0.12]

        =-0.505*log₂0.505+1+[-0.12*log₂0.12]

数据压缩第二次作业（数据压缩第四版P301,2,3）

标签：

原文地址：http://www.cnblogs.com/22-6262/p/5845019.html