码迷,mamicode.com
首页 > 其他好文 > 详细

参数估计法——最大似然估计和贝叶斯参数估计

时间:2015-10-26 22:16:15      阅读:166      评论:0      收藏:0      [点我收藏+]

标签:

  • 为什么要用参数估计?
    • 在贝叶斯方法中,要事先估计先验概率和条件密度函数,然后再设计分类器。但是多数情况下训练样本数总是太少,而且当用于表示特征维数较高时,对条件密度函数的估计就会计算复杂度较高。
    • 因此,如果我们已经事先知道参数的个数,并且先验知识允许我们能够把条件概率密度参数化,就可以使问题难度显著降低。
    • 例如,如果我们可以假设条件概率密度p(x|wi)是一个多元正态分布,其均值为ui,协方差矩阵为Σi (参数的具体值是未知的)。这样就把问题从估计完全未知的概率密度p(x|wi)转化为估计参数ui和Σi  。

 

  • 两种比较有效地参数估计方法:
    • 最大似然估计:把待估计的参数看作是确定的量,只是其取值未知。最佳估计就是使得产生训练样本的概率最大的那个值。
    • 贝叶斯参数估计:把待测的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程就是把先验概率密度转化为后验概率密度,这样就利用样本的信息修正了对参数的初始估计值。一个典型的效果就是,每得到新的观测样本,都使得后验概率密度函数变得更加尖锐,使其在待估参数的真实值附近形成最大的尖峰。(贝叶斯学习过程)

 

  • 非参数估计法(Nonparametric procedure)
    • 首先对特征空间进行变换,然后在变换空间中再采用参数化的方法,用以达到简化问题的目的。

参数估计法——最大似然估计和贝叶斯参数估计

标签:

原文地址:http://www.cnblogs.com/little-YTMM/p/4894151.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!