码迷,mamicode.com
首页 > 其他好文 > 详细

朴素贝叶斯法

时间:2018-01-11 15:35:25      阅读:104      评论:0      收藏:0      [点我收藏+]

标签:输出   独立   com   输入   朴素贝叶斯分类   body   .com   分类器   贝叶斯定理   

 

朴素贝叶斯法基于

1.贝叶斯定理

技术分享图片

2.特征条件独立假设

用于分类的特征在类(y)确定的情况下是条件独立的

 输入:

技术分享图片

过程:

1.学习先验概率

技术分享图片

2.学习条件概率分布(条件独立性假设)

技术分享图片

其中:

技术分享图片(极大似然估计)

 

 3.根据贝叶斯公式,计算后验概率

技术分享图片

带入条件概率公式:

技术分享图片

 

上式中,分母是一样的,当k取不同值时分子是不一样的,得出的后验概率也不一样的,朴素贝叶斯就是要求出最大的后验概率对应的Ck

所以,朴素贝叶斯分类器:

技术分享图片

由于分母都是一样的,所以就只计算分子就行:

技术分享图片

3.输出:分类Ck

 

将实例分类为后验概率最大的类中,等价于期望风险最小化,证明略

 

 参数估计:(主要是先验概率和条件概率的估计)

极大似然估计:

先验概率:

技术分享图片

条件概率:

技术分享图片

 

极大似然估计有个缺点是:如果某个特征的条件概率的值为0,那么计算条件概率时会影响其他特征(因为是连乘),所以采用贝叶斯估计,就是在分子、分母都加上一个参数

贝叶斯估计:

先验概率:

技术分享图片

条件概率:

技术分享图片

 

朴素贝叶斯法

标签:输出   独立   com   输入   朴素贝叶斯分类   body   .com   分类器   贝叶斯定理   

原文地址:https://www.cnblogs.com/stAr-1/p/8267537.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!