码迷,mamicode.com
首页 > 其他好文 > 详细

分布问题(二元,多元变量分布,Beta,Dir)

时间:2018-12-19 23:24:42      阅读:257      评论:0      收藏:0      [点我收藏+]

标签:共轭分布   理论   over   dir   固定   一个   导致   计算   次数   

      这涉及到数学的概率问题。

二元变量分布:


      伯努利分布,就是0-1分布(比如一次抛硬币,正面朝上概率)

         那么一次抛硬币的概率分布如下:

       技术分享图片

       假设训练数据如下:

          技术分享图片

      那么根据最大似然估计(MLE),我们要求u:

            技术分享图片

     求值推导过程如下:

     技术分享图片

    所以可以求出:

               技术分享图片

    以上的推导过程就是极大似然估计,我们可以看出u就是样本出现的频率除以总共抛硬币的实验次数。但是极大似然估计有它的局限性,当训练样本比较小的时候会导致Overfitting问题,比如说抛了10次硬币,有8次朝上,那么根据极大似然估计,u的取值就应该是8/10(这符号频率派的观点)。如何解决这个问题呢?

   那么这时候就需要从贝叶斯理论出发,贝叶斯理论认为,u并不是一个固定的值,u是同样服从某个分布,因此我们假设u有个先验分布P(u)。

   但是如何选取这个先验分布p(u)呢?

   我们知道

   技术分享图片

   因此我们希望先验分布也可以有类似的概率分布,为什么这么说呢?因为后验概率=先验概率*似然函数,所以如果选择的先验分布和似然函数有一样的结构,那么得到的后验概率也会存在相似的结构,这样会使得我们后面的计算简便。

   共轭性:θ的后验分布p(θ|x)与先验分布P(θ)属于同一分布,那么称二者为共轭分布。

   因此我们假设u的先验分布也为

     技术分享图片   

   那么这时候数学里面有个分布叫做Beta分布:

     技术分享图片

   那么假设我们投硬币,m次正面,l次反面。总共是m+l=N次实验:

   那么这时候u的分布为:

  技术分享图片

         依旧和先验分布服从一样的分布(共轭分布)

     假设我们要预测下一次的实验结果,也就是给定D得到下一次的预测分布:

   技术分享图片

       我们可以发现当m,N无限变大的时候,这种估计近似等于极大似然估计。

 

多元变量分布:


     很多时候,变元的不止只有两个,还有多元,其实估计过程是类似的。  假设有k维向量,其中某个向量Xk=1,其他等于0。

     例如某个变量x2发生,则X2=1,x=(0,1,0,0,0,0)  以抛筛子为例子,总共有6个面。

     那么xk=1发生的概率为Uk,那么x的分布为:

    技术分享图片

     考虑n个独立观测值{x1,x2,...xn}D,对应的似然函数:

    技术分享图片

     其中mk其实就是这么多次实验中,uk出现的次数大小。估计极大似然估计,我们会得出:

    技术分享图片

     同理,为了避免数据量小导致的过拟合问题,我们对Uk也假设一个先验分布:

     考虑到对于多元变量的分布u:

   技术分享图片

     因此我们选择它的共轭分布狄利克雷分布为先验分布:

        技术分享图片

     那么后验分布=似然分布*先验分布:

  技术分享图片

     依旧和先验分布服从一样的分布(共轭分布)

     假设我们要预测下一次的实验结果,也就是给定D得到下一次的预测分布:

    技术分享图片

     又因为对于狄利克雷分布:

    技术分享图片

     所以对于某个类的分布预测为:   

技术分享图片

分布问题(二元,多元变量分布,Beta,Dir)

标签:共轭分布   理论   over   dir   固定   一个   导致   计算   次数   

原文地址:https://www.cnblogs.com/tectal/p/10146874.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!