第五次作业： 教材 page 44：3-3，3-9 ，3-12，3-15，3-16 3-3 证明：I(X;Y)=H(X)-H(X|Y) 3-9 证明：没有冗余度的信源还能不能压缩？为什么？ 答：能，没有冗余度的信源，我们只能进行有损压缩，不能进行无损压缩。 3-12 证明：等概率分布的信源还能不能压 ...
分类：
其他好文 时间：
2016-11-25 23:35:48
阅读次数：
189
3、证明：I(X;Y)=H(X)-H(X|Y)。 9、没有冗余度的信源还能不能压缩？为什么？ 答：能。因为没有冗余信息源，不能进行无损压缩，能进行有损压缩。 12等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答：能。因为等概率分布的信源不代表他们之间不相关，可能他们是相关的，至少可以进行有 ...
分类：
其他好文 时间：
2016-11-25 23:28:14
阅读次数：
167
3-3：证明I(X;Y)=H(X)-H(X|Y). 3-9 没有冗余度的信源还能不能压缩？为什么？ 答：没有冗余度的信源，不能进行压缩，如果要进行压缩，那么信源就会失真，不能回到原来的状态。 3-12 等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答：等概率分布的信源可以进行压缩，当信源不 ...
分类：
其他好文 时间：
2016-11-25 23:21:17
阅读次数：
178
3.证明：I(X;Y)=H(X)-H(X|Y)。 、没有冗余度的信源还能不能压缩？为什么？9 答案：能。不能进行无损压缩，可以进行有损压缩。12、等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答案：至少可以有损压缩；另外，“等概”未必“不相关”，例如对方波信号或锯齿波信号的均匀取样值。15 ...
分类：
其他好文 时间：
2016-11-25 23:11:39
阅读次数：
140
3-3证明：I(X；Y)=H（X）-H(X｜Y)。 证明：<!--StartFragment --> 3-9 没有冗余的信源还能不能压缩？为什么？ 答：能压缩。但是不能进行无损压缩，可以进行有损压缩。 3-12 等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答：能， 可以进行有损压缩。因为 ...
分类：
其他好文 时间：
2016-11-25 16:50:30
阅读次数：
127
3-3 证明：I(X ; Y) = H(X) - H(X | Y)。证明如下： 3-9 没有冗余度的信源还能不能压缩？为什么？ 答：没有冗余度的信源，不能进行压缩，如果要进行压缩，那么信源就会失真，不能回到原来的状态。 3-12 等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答：等概率分布 ...
分类：
其他好文 时间：
2016-11-22 22:42:31
阅读次数：
207
3、证明：I(X;Y)=H(X)-H(X|Y)。 9、没有冗余度的信源还能不能压缩？为什么？ 答：能。因为没有冗余信息源，不能进行无损压缩，能进行有损压缩。 12、等概率分布的信源还能不能压缩？为什么？你能举例说明吗？ 答：能。等概率分布并不是不相关的，还是可以压缩的。例如对方波信号或锯齿波信号的均 ...
分类：
其他好文 时间：
2016-11-22 19:53:59
阅读次数：
182
1 离线指标 1.1 LogLoss 1.1.1 KL散度 logloss使用KL散度来计算。设样本的真实分布为P，预测分布为Q，则KL散度定义如下： 这里可以通俗地把KL散度理解为相同事件空间里两个概率分布的相异情况。KL散度越小，预测分布越接近真实分布。 KL散度的物理意义是：使用分布Q来对真实 ...
分类：
其他好文 时间：
2016-11-22 12:02:56
阅读次数：
1184
3 I(X;Y)=ΣP(XiYj)log(P(Xi|Yj)/P(Xi)) =ΣP(XiYj)log(1/P(Xi))-ΣP(XiYj)log(1/P(Xi|Yj)) =ΣP(Xi)log(1/P(Xi))-ΣP(XiYj)log(1/P(Xi|Yj)) =H(X)-H(X|Y) 9 能进行有损压缩， ...
分类：
其他好文 时间：
2016-11-21 22:49:51
阅读次数：
153
