码迷,mamicode.com
首页 > 其他好文 > 详细

PRML-系列一之1.6.1

时间:2015-05-16 14:52:50      阅读:243      评论:0      收藏:0      [点我收藏+]

标签:kl散度   凸函数   

相关熵和交互信息

  到目前为止,我们已经介绍了一些信息论的概念,包括熵的关键概念。我们现在开始这些想法到模式识别。考虑未知分布p(x),假设我们用近似分布q(x)为期建模。为了发送x的值到接收器,如果我们用q(x)来构造编码方案,那么指定x值所需的平均信息附加量(假设我们选择了一个高效的编码方案)由下式给出
技术分享
这被称为分布p(x)和q(x)之间的相对熵或Kullback-Leibler散度或KL散度(Kullback和Leibler,1951)。注意它不是一个对称量,即技术分享
  我们现在展示Kullbace-Leibler散度满足技术分享,当且仅当p(x)=q(x)时等号成立。要做到这一点,我们首先介绍凸函数的概念。对于函数f(x),如果每个弦位于或者在函数的上面(如图1.31),那么该函数就是凸函数。在区间x=a至x= b之间的任何x值可被写成λa+(1 - λ)b的形式,其中技术分享。弦上的对应点由给定λf(a)+(1 - λ)f(b)。函数的对应值是f (λa + (1 ? λ)b)。凸面意味着:
技术分享
这相当于函数的二阶导数都为正值。凸函数的例子是xlnx(x>0)和技术分享。如果只在λ=0和λ=1时等号成立,那么该函数叫做严格凸函数。如果函数具有相反的特性,即每个弦位于或低于函数值,它被称为凹,严格凹的定义类似。如果函数f(x)是凸的,则-f(x)是凹的。
技术分享
  用归纳法证明方法,我们可以得到凸函数f(x)满足:
技术分享
其中对于任何点{xi}技术分享。(1.115)结果被称为詹森不平等。如果我们将λI解释为离散变量x的概率分布,则(1.115)可以写成
技术分享
其中E[]表示期望。对于连续变量,詹森不等式的形式为:
技术分享
  我们可以将詹森不等式(1.117)的形式用到Kullback-Leibler散度(1.113)得到
技术分享
在这里,我们使用事实即-ln x是一个凸函数,连同归一化条件技术分享。事实上,-ln x是一个严格凸函数,所以对于所有x当且仅当q(x)= p(x)时等号成立。因此,我们可以将Kullback-Leibler散度理解为两个分布p(x)和q(x)之间差异的量度。
  我们看到数据压缩和密度估计(即为一个未知概率分布建模的问题)之间有紧密的关系,因为当我们知道真实分布后就可以实现最有效的压缩。如果我们使用不同于真实的分布,那么我们肯定有一个效率较低的编码,并且必须传输的平均附加信息(至少)等于两个分布之间的Kullback-Leibler散度。
  假设数据是从一个未知分布p(x)(我们所希望的模型)生成的。我们可以用一些参数分布q(x|θ)来尝试近似这种分布,参数分布由一组可调整的参数θ控制,例如多元高斯。确定θ的一种方法是最小化p(x)和q(x|θ)之间的Kullback-Leibler散度。我们无法直接这样做,因为我们不知道p(x)。然而,假设我们已经观察到一组有限的训练点xn,对于n =1,, ,N,从p(x)得到。那么p(x)的期望可通过这些点上的有限和(1.35)来近似得到,使得
技术分享
(1.119)的右手侧第二项与θ无关,且第一项是负对数似然函数。因此,我们看到最小化Kullback-Leiber散度相当于最大化似然函数。
  现在考虑两组变量x和y之间的联合分布p(x,y)。如果变量的集合是独立的,那么他们的联合分布将因式分解成其边缘分布p(x,y)= p(x)p(y)。如果变量不是独立的,通过考虑联合分布和边缘乘积之间的Kullback-Leibler散度,我们可以得到它们是否与独立比较接近
技术分享
这就是所谓的变量x和y之间的交互信息。根据Kullback-Leibler散度的特性,我们可以看到技术分享当且仅当x和y是独立的等号成立。使用求和与乘积规则概率,我们看到交互信息和条件熵是相关的
技术分享
因此,我们可以认为通过被告知y值交互信息减少了x的不确定性(反之亦然)。从贝叶斯的角度来看,在观察到新数据y后,我们可以将ρ(x)看做先验分布,和p(x |y)作为后验分布。因此,由于新观察y,交互信息表示x不确定性的下降。

PRML-系列一之1.6.1

标签:kl散度   凸函数   

原文地址:http://blog.csdn.net/u010182633/article/details/45768227

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!