JS散度

时间：2017-08-20 20:04:30 阅读：699 评论：0 收藏：0 [点我收藏+]

JS散度（Jensen-Shannon divergence）

JS散度解决了KL不对称的问题，JS是对称的。

很明显，如果P1，P2完全相同，那么JS =0，如果完全不相同，那么就是1.

JS散度是利用KL散度来得到的。JS是对称的而且值是有界的[0,1].

P,Q和第三个分布进行KL计算（第三个分布：（P+Q）/2 ）

JS散度是有界的：

但是KL和JS散度来度量时候有一个问题：

如果两个分配P,Q离得很远，完全没有重叠的时候，那么KL值是没有意义的，而JS值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为0。梯度消失了。

原文地址：http://www.cnblogs.com/smuxiaolei/p/7400923.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行