码迷,mamicode.com
首页 > 其他好文 > 详细

贝叶斯学习

时间:2015-07-08 09:27:00      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:

在进行参数估计的时候, 常用到最大似然估计,其形式很简单,对于含有N个样本的训练数据集DN,假设样本独立同分布,分布参数为技术分享,则似然概率定义如下:

????
技术分享

简单说就是参数为技术分享时训练集出现的概率,然后我们根据不同的分布形式求导,得到参数技术分享的最有值使得似然概率最大。

贝叶斯学习过程不同之处在于,一开始并不试图去求解一个最优的参数值,而是假设参数技术分享本身符合某个分布,即先验概率p(技术分享)(例如高斯分布,只要知道均值和方差就能确定下来),利用训练数据集所得到的信息就可以得到参数技术分享的条件概率分布p(技术分享)(条件概率的用途后面揭晓)。

????由贝叶斯公式,我们可以得到:

技术分享

????再根据前面的独立性假设:

技术分享

将公式(2)带入公式(1)中,得到:

????
技术分享

再次使用贝叶斯公式,我们发现:

????
技术分享

所以:

????
技术分享

这里有必要指出的是技术分享与参数技术分享是独立的,可以这样理解,对于一个已知的分布形式,我们假设了技术分享的分布类型:技术分享,积分过程中去掉了参数,所以它本身是与技术分享独立的,则公式(4)可以简化成:

????????
技术分享

整个推导过程并没有涉及到参数技术分享的具体分布形式,可见公式(5)对于各种分布函数是普遍适用的,该公式体现的是参数的条件概率密度的迭代更新过程,显然,更新的起始点:技术分享,没有任何数据的时候,我们所有的就是先验概率。

最后提一下为什么要求解参数的条件概率密度,在分类问题中,给定属于某一类的训练数据集技术分享,对于某一个输入模式,我们要确定类条件概率密度,也就是p(x|DN)

由贝叶斯公式

????
技术分享

前面提过,技术分享技术分享相互独立,则技术分享,所以

????
技术分享

贝叶斯学习

标签:

原文地址:http://www.cnblogs.com/hustxujinkang/p/4629175.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!