码迷,mamicode.com
首页 > 其他好文 > 详细

第二次作业 140705010027 吴蓉

时间:2016-09-12 20:24:09      阅读:107      评论:0      收藏:0      [点我收藏+]

标签:

1.X是一个随机变量,取值范围是一个包含M个字母的符号集。证明0<=Hx<=log2M

因为所有概率分布P所构成的熵,
在等概率时为最大且为     Hmax(X)=log2M
所以    H(X)<=log2M.
因为x为一个随机变量,出现的概率为P(X).
根据概率的公理化定义有:    0<=P(X)<=1
已知 H(X)=-E P(X)*logP(X)则H(X)>=0
所以 0<=H(X)<=
log2M

 

 

2.证明如果观察到一个序列的元素为iid分布,则该序列的熵等于一阶熵。

证: 由于H(x)=limn→∞(1/n*Gn),则

Gn=-Σi=n ......Σi=1 P(Ai) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

当该序列为iid分布时,得

Gn=-nΣi=1P(x1=i1) logP(x1=i1)

所以H(x)=-ΣP(x1) logP(x1) 为一阶熵

 

3.给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵:

aPa1= Pa2= Pa3= Pa4=1/4

解: H(a)=-4×1/4 log(1/4)=-log(1/4)=-(-2)

     H(a)=2 bit/字符

 

 

bPa1=1/2, Pa2=1/4, Pa3= Pa4=1/8

解:H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8

H=7/4=1.75 bit/字符

 

 

cPa1=0.505, Pa2=1/4, Pa3=1/8, Pa4=0.12

解:H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12

     H=1.135 bit/字符

 

 

 

第二次作业 140705010027 吴蓉

标签:

原文地址:http://www.cnblogs.com/vrwr/p/5865834.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!