码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习知识点查漏补缺(朴素贝叶斯分类)

时间:2018-04-12 00:16:55      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:png   就是   贝叶斯   估计   font   函数   分享   http   相同   

 

一、基本模型

 朴素贝叶斯分类模型的基本思想就是贝叶斯公式,对以特征为条件的各类别的后验概率。

贝叶斯公式如下:

技术分享图片

对标朴素贝叶斯分类模型的公式如下:

技术分享图片

分子中的第二项为每个类别的概率(实际运算即频率),如下:

技术分享图片

第一项为每个类别内部(即以类别为条件)特征的联合概率,如下:

技术分享图片

但随着特征的每个维度取值增加,模型参数也会指数级增加。所以朴素贝叶斯的朴素也就在这儿体现,朴素的(简单的)假设以上每个特征维度都是条件独立的,而让其联合概率可化简为每个特征的条件概率积,如下:

技术分享图片

朴素贝叶斯分类模型也即是最大化后验概率的类别

技术分享图片

而分母对每个类别都是相同的

技术分享图片 

二、优化目标函数

朴素贝叶斯的参数也即是各类别的先验概率及各类别为条件的特征条件概率,其极大似然估计分别为:

技术分享图片

 

技术分享图片

为防止条件概率估计值为0的情况,会在其估计过程中加入拉普拉斯平滑处理

技术分享图片

常取delta为1.

 

机器学习知识点查漏补缺(朴素贝叶斯分类)

标签:png   就是   贝叶斯   估计   font   函数   分享   http   相同   

原文地址:https://www.cnblogs.com/hugh-tan/p/8654767.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!