1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 证：0≤ H(X) 因为 H(X)=∑P(Xi)M(Xi) (i=1....M) P(Xi)≥0 所以 0≤ H(X) 证：H(X)≤log2M 因为 H(x)=-∑P(Xi)log2P(Xi) (i=1.. ...
分类：
其他好文 时间：
2016-09-12 20:41:48
阅读次数：
160
1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H（x）<=log2M。 因为所有概率分布P所构成的熵，在等概率时为最大且为 Hmax(X)=log2M所以 H(X)<=log2M.因为x为一个随机变量，出现的概率为P（X）.根据概率的公理化定义有: 0<=P(X)<=1已知 ...
分类：
其他好文 时间：
2016-09-12 20:24:09
阅读次数：
107
1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 证： 由题意得 X={m1,m2,...,mn} （包含M个字母） 1）当M=1时，H(X)最小 即 H(x)=-ΣP(xi=ai)*logP(xi=ai) =1*log(1) =0 从而 H(x)min=0 ...
分类：
其他好文 时间：
2016-09-12 17:22:04
阅读次数：
115
1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log2M。 证明：当M个字母相同时，即X=1，H(X)=-∑p(X=ai)logp(X=ai)为最小 即H(X)=-1*log21=0 当M个字母不同，且每个字母出现的概率均相等时，H(X)为最大值 H(X)=- ∑ ...
分类：
其他好文 时间：
2016-09-12 06:13:10
阅读次数：
120
1. 设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 证：因为：(1) 当M=1时，则p(X)=1,此时 H(X)=-∑(P(X1)*P(X1))=-1*(1/1)*log21=0 (2) 当M>1时，令每个字母的概率相等，都为p(Xi)，此时 H(X)=-∑ ...
分类：
其他好文 时间：
2016-09-12 00:34:21
阅读次数：
118
课后1.2.3题，题目如下： 1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H（x）<=log2M。 2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。 3.给定符号集A={a1,a2,a3,a4}，求以下条件下的一阶熵： （a） P（a1）= P（a2） ...
分类：
其他好文 时间：
2016-09-12 00:23:08
阅读次数：
194
1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 2，证明如果观察到一个序列的元素为idd分布，则该序列的熵等于一阶熵。 （b）P(a1)=1/2 , P(a2)=1/4 , P(a3)=P(a4)=1/8 答：H=-（1/2）*log2（1/2）+[-（1 ...
分类：
其他好文 时间：
2016-09-11 22:59:00
阅读次数：
218
1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。 证明：由题意得，在x的随机变量中 （1）当M取值为1时，H（X）最小 即H(X)=-∑(P(X1)*P(X1))=-1*(1/1)*log21=0 （2）当M取值大于1时，取每个字母的概率为P(Xi)，则 H ...
分类：
其他好文 时间：
2016-09-11 22:52:29
阅读次数：
162
1，设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤Log2M. 证明： M=1时， H(X)=-∑(P(Xi)*log2P(Xi))=-(1*log21)=0,此时H(X)最小； M>1，取字母的概率P(Xi)相等为1/M时， 则H(X)=-∑(P(Xi)*log2P(X ...
分类：
其他好文 时间：
2016-09-11 22:49:17
阅读次数：
195
1：设x是一个随机变量，取值范围是一个包含m个字母的符号集。证明0<=h(x)<=log2M. 证：(1)0≤ H(X) ∵H(X)=∑P(Xi)M(Xi) (i=1....M) 又∵P(Xi)≥0 ∴0≤ H(X) (2)H(X)≤log2M ∵H(x)=-∑P(Xi)log2P(Xi) (i=1 ...
分类：
其他好文 时间：
2016-09-11 22:41:45
阅读次数：
150
