码迷,mamicode.com
首页 > 其他好文 > 详细

贝叶斯公式的共轭分布

时间:2014-10-06 10:19:30      阅读:162      评论:0      收藏:0      [点我收藏+]

标签:共轭分布   conjugate   先验分布   似然函数   后验分布   

    共轭分布是一种极大简化贝叶斯分析的方法。其作用是,在贝叶斯公式包含多种概率分布的情况下,使这些分布的未知参数在试验前被赋予的物理意义,延续到试验后,便于分析。

1. 贝叶斯公式

贝叶斯公式如下:
bubuko.com,布布扣
其中,bubuko.com,布布扣bubuko.com,布布扣表示模型中的未知参数,bubuko.com,布布扣bubuko.com,布布扣表示样本。这里有三个重要的概念:先验分布似然函数,以及后验分布
bubuko.com,布布扣bubuko.com,布布扣是先验分布,表示在观察样本之前,按照经验认为bubuko.com,布布扣符合某种概率分布。比如说在抛硬币之前,我们认为正反两面出现的概率各为1/2。
bubuko.com,布布扣bubuko.com,布布扣是似然函数,表示在给定模型参数bubuko.com,布布扣bubuko.com,布布扣的条件下,样本数据bubuko.com,布布扣服从这一概率模型的相似程度。
bubuko.com,布布扣bubuko.com,布布扣是后验分布,表示在观察一系列样本数据bubuko.com,布布扣后,模型参数服从的概率分布。即,对先验分布进行了修正,更接近真实情况。
另外,因为bubuko.com,布布扣bubuko.com,布布扣是样本,所以bubuko.com,布布扣bubuko.com,布布扣是一个确定的值。

2. 共轭分布的定义

    在贝叶斯公式中,如果先验分布和似然函数使得后验分布具有和先验分布相同的形式,那么就称先验分布和似然函数是共轭的

3. 举例说明

3.1 Beta分布与二项分布共轭

Beta概率函数如下:
bubuko.com,布布扣
bubuko.com,布布扣
其中,bubuko.com,布布扣是一个常系数。除去常系数不看,Beta函数与二项分布函数具有相同的形式,即bubuko.com,布布扣bubuko.com,布布扣。如果把Beta分布当做先验分布,二项分布函数当做似然函数,那么通过贝叶斯公式计算得到的后验分布与先验分布具有相同的形式。所以,Beta分布和二项分布共轭。

3.2  Dirichlet分布与多项分布共轭

Beta分布扩展到多维是 Dirichlet分布(狄利克雷分布),二项分布扩展到多维就是多项分布。Dirichlet分布函数如下:

bubuko.com,布布扣
bubuko.com,布布扣
多项分布函数如下:
bubuko.com,布布扣
bubuko.com,布布扣
其中,K是指K维。bubuko.com,布布扣bubuko.com,布布扣bubuko.com,布布扣bubuko.com,布布扣都是常系数,不看常系数,Dirichlet函数与多项分布函数具有相同的形式,因此计算得到的后验分布也与先验分布有相同的形式。即,Dirichlet分布和多项分布式是共轭的。

贝叶斯公式的共轭分布

标签:共轭分布   conjugate   先验分布   似然函数   后验分布   

原文地址:http://blog.csdn.net/u014313009/article/details/39825827

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!