熵其实是信息量的期望值，它是一个随机变量的确定性的度量(不确定度)。熵越大，变量的取值越不确定，反之就越确定。 http://blog.csdn.net/rtygbwwwerr/article/details/50778098 相对熵(relative entropy)又称为KL散度（Kullbac ...
分类：
其他好文 时间：
2017-08-22 18:00:06
阅读次数：
121
JS散度（Jensen-Shannon divergence） JS散度解决了KL不对称的问题，JS是对称的。 很明显，如果P1，P2完全相同，那么JS =0， 如果完全不相同，那么就是1. JS散度是利用KL散度来得到的。JS是对称的而且值是有界的[0,1]. P,Q和第三个分布进行KL计算（第三 ...
分类：
Web程序 时间：
2017-08-20 20:04:30
阅读次数：
699
1. 相对熵的认识 相对熵又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度（即KL散度）等。设和 是取值的两个概率概率分布，则对的相对熵为 在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是 用来度量使用基于Q的 ...
分类：
其他好文 时间：
2017-08-20 19:51:17
阅读次数：
211
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量 ...
分类：
其他好文 时间：
2017-06-27 17:01:26
阅读次数：
326
作者：桂。 时间：2017-04-06 12:29:26 链接：http://www.cnblogs.com/xingshansi/p/6672908.html 声明：欢迎被转载，不过记得注明出处哦~ 前言 之前在梳理最小二乘的时候，矩阵方程有一类可以利用非负矩阵分解（Non-negative ma ...
分类：
其他好文 时间：
2017-04-06 20:53:36
阅读次数：
287
1 离线指标 1.1 LogLoss 1.1.1 KL散度 logloss使用KL散度来计算。设样本的真实分布为P，预测分布为Q，则KL散度定义如下： 这里可以通俗地把KL散度理解为相同事件空间里两个概率分布的相异情况。KL散度越小，预测分布越接近真实分布。 KL散度的物理意义是：使用分布Q来对真实 ...
分类：
其他好文 时间：
2016-11-22 12:02:56
阅读次数：
1184
这个函数很重要： function KL = kldiv(varValue,pVect1,pVect2,varargin) %KLDIV Kullback-Leibler or Jensen-Shannon divergence between two distributions.% KLDIV(X
分类：
其他好文 时间：
2016-02-19 12:05:29
阅读次数：
235
相关熵和交互信息 到目前为止，我们已经介绍了一些信息论的概念，包括熵的关键概念。我们现在开始这些想法到模式识别。考虑未知分布p（x），假设我们用近似分布q（x）为期建模。为了发送x的值到接收器，如果我们用q（x）来构造编码方案，那么指定x值所需的平均信息附加量（假设我们选择了一个高效的编码方案）由下式给出
这被称为分布p（x）和q（x）之间的相对熵或Kullback-Leibler散度或KL...
分类：
其他好文 时间：
2015-05-16 14:52:50
阅读次数：
243
应用于推荐系统
在使用LDA(Latent Dirichlet Allocation)计算物品的内容相似度时，我们可以先计算出物品在话题上的分布，然后利用两个物品的话题分布计算物品的相似度。比如，如果两个物品的话题分布相似，则认为两个物品具有较高的相似度，反之则认为两个物品的相似度较低。计算分布的相似度可以利用KL散度来计算：
DKL(p||q)=∑i∈Xp(i)ln(p(i)/q(i),其中...
分类：
其他好文 时间：
2015-05-12 11:28:46
阅读次数：
175
cosin余弦相似度
两个向量间的余弦值可以很容易地通过使用欧几里得点积和量级公式推导：
鉴于两个向量的属性， A 和B的余弦相似性θ用一个点积形式来表示其大小，如下所示：
产生的相似性范围从-1到1：-1意味着两个向量指向的方向正好截然相反，1表示它们的指向是完全相同的，0通常表示它们之间是独立的，而在这之间的值则表示中度的相似性或相异性。 对于文本匹配，属性向量A 和B 通常...
分类：
其他好文 时间：
2015-05-12 00:10:19
阅读次数：
840
