我们可以计算两个数值点之间的距离，也可以计算两个概率分布之间的距离。常见方法有卡方检验（Chi-Square）和KL散度（KL-Divergence）。本文主要介绍KL散度。 先从信息熵说起，假设一篇文章的标题叫做“黑洞到底吃什么”，包含词语分别是{黑洞，到底，吃什么}，我们现在要根据一个词语...
分类：
其他好文 时间：
2015-03-12 20:41:22
阅读次数：
322
找了一些文章，感觉这篇是最好的，转载自：
最好的解释链接
KL散度常用于衡量两个概率分布之间的距离。根据香农定理，对一个概率分布
P(X) 进行最优编码方案编码的平均编码长度为：
也就是说，如果对于概率分布 P(X) 的的编码为最优编码方案时：
现假设在同样的字符集上，存在另一个概率分布 Q(X) ，如果用概率分布
P(X) 的最优编码来为符合分布 Q(X) 的字...
分类：
其他好文 时间：
2014-10-14 11:56:38
阅读次数：
242
