朴素贝叶斯

标签：

4.1朴素贝斯法的学习与分类

4.1.1基本方法

        设输入空间为n维向量的集合，输出空间为类标记。P(X,Y)是X和Y的联合概率分布。训练数据集由P(X,Y)独立同分布产生。

         朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)，即先验概率分布和条件概率分布，从而学到联合概率分布P(X,Y)。

         条件概率分布有指数级的参数，假设可能的取值有个，j=1,2...,n，Y可能的取值有K个，那么参数个数为。

        朴素贝叶斯对条件概率分布做了条件独立性的假设

（4.3）

即用于分类的特征在类确定的条件下都是条件独立的。

      朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布：

（4.4）

将后延概率最大的类作为x的类输出。

将（4.3）带入（4.4）的得

于是朴素贝叶斯分类器可表示为

注意分母为常数项，所以

4.1.1后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。假设0-1损失函数

f(X)是分类决策函数。这是，期望风险函数为

期望是对联合分布P(X,Y)取得。由此取条件期望

（哪位大神告诉我这个Ex啥意思）

为了使期望风险最小化，只需X=x逐一极小化，由此得到：

朴素贝叶斯

标签：

原文地址：http://blog.csdn.net/pmt123456/article/details/50999282