PART0 判别学习算法引入：二元分类问题建模：判别学习算法（discriminative learning algorithm）直接根据P(y|x)【即给定特征x下的分类结果y】建模之前我们用的算法（如logistic回归）就是判别学习算法PART1 生成学习算法PART1.1 Definitio...
分类：
编程语言 时间：
2015-05-28 07:04:32
阅读次数：
736
Naive Bayes
在GDA模型中，特征向量xx是连续的实数向量，在这一讲里，我们将要讨论另外一种算法用来处理特征向量xx是离散值的情况。
我们先考虑一个例子，用机器学习的方法建立一个垃圾邮件过滤器，我们希望用一种算法来甄别邮件的信息以确定该邮件是不是垃圾邮件，通过学习这个算法，我们将能建立自己的垃圾邮件过滤器帮我们对邮件进行分类，邮件分类只是一系列我们称之为\textbf{文本分类}中的...
分类：
其他好文 时间：
2015-05-21 19:41:05
阅读次数：
247
朴素贝叶斯分类（NBC）是机器学习中最基本的分类方法，是其他众多分类算法分类性能的对比基础，其他的算法在评价性能时都在NBC的基础上进行。同时，对于所有机器学习方法，到处都蕴含着Bayes统计的思想。
朴素贝叶斯基于贝叶斯地理和特征条件独立性假设，首先基于条件独立性假设学习输入XX和输出YY的联合分布P(X,Y)P(X,Y)，同时利用先验概率P(Y)P(Y)，根据贝叶斯定理计算出后验概率P(Y|X...
分类：
其他好文 时间：
2015-04-27 02:06:20
阅读次数：
259
朴素贝叶斯(Naive Bayes)适用于离散特征的分类问题，对于连续问题则需将特征离散化后使用。朴素贝叶斯有多元伯努利事件模型和多项式事件模型，在伯努利事件模型中，特征每一维的值只能是0或1，而多项式模型中特征每一维的值可取0到N之间的整数，因此伯努利模型是多项式模型的一种特例，下面的推导就直.....
分类：
其他好文 时间：
2015-04-21 17:30:50
阅读次数：
213
处女文献给我最喜欢的算法了⊙▽⊙---------------------------------------------------我是机智的分割线----------------------------------------------------[important] 阅读之前你需要了解：....
分类：
编程语言 时间：
2015-04-20 22:26:40
阅读次数：
283
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。
方法概述
学习（参数估计）
实现：朴素贝叶斯下的文本分类
模型概述
朴素贝叶斯方法，是指
朴素：特征条件独立贝叶斯：基于贝叶斯定理
根据贝叶斯定理，对一个分类...
分类：
其他好文 时间：
2015-04-13 01:46:03
阅读次数：
356
之前学习了贝叶斯分类器的构造和使用，其中核心的部分是得到事件的先验概率并计算出后验概率 ，而事实上在实际使用中，很多时候无法得到这些完整的信息，因此我们需要使用另外一个重要的工具——参数估计。参数估计是在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。...
分类：
其他好文 时间：
2015-04-06 11:31:17
阅读次数：
219
一、How to construct the dependency？1、首字母即随机变量名称2、I->G是更加复杂的模型，但Bayes里不考虑，因为Bayes只是无环图。3、CPD = conditional probability distribution。图中的每一个点都是一个CPD，这里5个点...
分类：
Web程序 时间：
2015-03-15 10:50:08
阅读次数：
159
一、简介 关于Mahout的介绍，请看这里：http://mahout.apache.org/ 关于Naive Bayes的资料，请戳这里： Mahout实现了Naive Bayes分类算法，这里我用它来进行中文的新闻文本分类。 官方有一组分类例子，使用20 newsgroups data (htt...
分类：
其他好文 时间：
2015-03-07 18:24:12
阅读次数：
241
一、朴素贝叶斯(Naïve Bayes)分类器 1.1 公式 朴素贝叶斯是一个概率分类器 文档 d 属于类别 c 的概率计算如下（多项式模型）： nd是文档的长度(词条的个数) P(tk |c) 是词项tk 出现在类别c中文档的概率，即类别c文档的一元语言模型 P(tk |c) 度量的是当c是正确类...
分类：
编程语言 时间：
2015-03-07 18:23:06
阅读次数：
657
