第二次作业

标签：

1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

 证：

      因为所有概率分布P所构成的熵，
在等概率时为最大且为     Hmax(X)=log2M
所以    H(X)<=log2M.
因为x为一个随机变量，出现的概率为P（X）.
根据概率的公理化定义有:    0<=P(X)<=1
已知 H(X)=-E P(X)*logP(X)则H(X)>=0
所以 0<=H(X)<=log2^M

  2、证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

      证：

          由于熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i₁=1i₁=m∑i₂=1i₂=m.....∑i_n=1i_n=mP(X₁=i₁,X₂=i₂,....X_n=i_n)*logP(X₁=i₁,X₂=i₂,....X_n=i_n)

          又该序列被观察到每个元素是独立同（idd）分布的

          则Gn=-n∑i₁=1i₁=mP(X₁=i₁)*logP(X₁=i₁)，则

          H(X)=-∑P(X₁=i₁)*logP(X₁=i₁)为一阶熵。

3.给定符号集A{a1,a2,a3,a4},求以下条件下的一阶熵：

（a） p(a1)=p(a2)=p(a3)=p(a4)=1/4

       H_max=logM=log₂4=2

 (b)  p(a1)=1/2,p(a2)=1/4, p(a3)=p(a4)=1/8

       H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8=7/4

 (c) p(a1)=0.505, p(a2)=1/4, p(a3)=1/8, p(a4)=0.12

     H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12

第二次作业

标签：

原文地址：http://www.cnblogs.com/SZXYF/p/5866791.html