码迷,mamicode.com
首页 > 其他好文 > 详细

【机器学习中的数学】广义逆高斯分布及其特例

时间:2015-01-23 18:30:16      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:机器学习   数学   

引言

广义逆高斯作为一种含义丰富的概率分布,其参数为特定值时又衍生出几种经典有用的分布,现做一整理介绍。

广义逆高斯分布(Generalized Inverse Gaussian Distribution)

广义逆高斯分布的概率密度函数为:

技术分享

其中,Kp是a>0且b>0的第二类修正贝塞尔函数(Modified Bessel function of the second kind)。
特别要注意这里,支撑集是x>0,即对于非负随机变量。
其中第二类修正贝塞尔函数满足以下性质:

技术分享

伽玛分布(Gamma Distribution)

当上面的广义逆高斯分布的b=0,r>0,a>0时,称为伽玛分布。

技术分享

记为X~Ga(p,a/2),这里的p称为形状参数,a/2称为尺度参数。
其实际定义与观念是假设随机变量X为等到第p件事发生所需之等候时间。
伽玛分布满足加成性,当两随机变量服从Gamma分配,互相独立,且单位时间内频率相同时,Gamma分布具有加成性。

技术分享
技术分享

当p=1时,Gamma分布变成了指数分布(Exponential Distribution)。

逆伽玛分布(Inverse Gamma Distribution)

令广义逆高斯分布的参数a=0,r<0,b>0,就称作逆伽玛分布。

技术分享

这里的τ=-p,记为IG(τ,b/2)。

逆高斯分布(Inverse Gaussian Distribution)

令广义逆高斯分布的参数p=-1/2,称为逆高斯分布。

技术分享

先验分布和后验分布共轭的意义

从贝叶斯角度进行参数估计,是求最大后验估计的过程。要求先验分布和后验分布是同一种形式但参数不同的分布(即先验分布和后验分布呈共轭关系),这是一个数学技巧,可以使计算变得简单,而求后验概率最大的积分过程转化成了求后验分布的众数(mode)的过程。

实例一

假设随机变量X~Bernoulli(θ),0<θ<1。
因为θ的取值是在(0,1)之间,很自然会想到Beta分布是定义在该区间的,故给θ一个Beta分布作为先验,θ~Beta(α,β)。
后验分布

技术分享

这也是一个Beta分布。

实例二

假设随机变量X~N(0,λ),这里我们把方差σ^2设为λ,其中λ>0。
(1)我们假设λ满足Gamma分布,λ~Ga(λ|r,α/2)。
这样,其后验

技术分享

这是一个广义逆高斯分布,当然我们也可以把Gamma分布看做一个广义逆高斯分布,但这做起来比较麻烦
(2)我们假设λ满足逆Gamma分布,λ~Ig(τ,β/2)。
其后验为

技术分享

这也是一个逆Gamma分布。
这样方便计算。

参考资料

Wiki:广义逆高斯分布
Wiki:贝塞尔函数
Wiki:伽玛分布

转载请注明作者Jason Ding及其出处
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

【机器学习中的数学】广义逆高斯分布及其特例

标签:机器学习   数学   

原文地址:http://blog.csdn.net/jasonding1354/article/details/43057381

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!