一、数学基础1、先验概率，又称边缘概率：2、后验概率，又称条件概率条件概率（非独立事件才会遇到条件概率）P(A,B)=P(A)*P(B|A)例：五个乒乓球，3新2旧，无放回抽取两次，A：第一次取到新球 B：第二次取到新球，求第一次取到新球的条件下第二次取到新球的概率P(B|A)=P(A,B)/P(A...
分类：
其他好文 时间：
2014-12-19 18:47:07
阅读次数：
232
朴素贝叶斯分类是贝叶斯分类器的一种，贝叶斯分类算法是统计学的一种分类方法，利用概率统计知识进行分类，其分类原理就是利用贝叶斯公式根据某对象的先验概率计算出其后验概率（即该对象属于某一类的概率），然后选择具有最大后验概率的类作为该对象所属的类。总的来说：当样本特征个数较多或者特征之间相关性较大时，朴素贝叶斯分类效率比不上决策树模型；当各特征相关性较小时，朴素贝叶斯分类性能最为良好。另外朴素贝叶斯的计算过程类条件概率等计算彼此是独立的，因此特别适于分布式计算。本文详述了朴素贝叶斯分类的统计学原理，并在文本分类中...
分类：
编程语言 时间：
2014-12-12 20:56:48
阅读次数：
1004
PLSA是前面LSA的兄弟版，相比于LSA而言，PLSA定义了概率模型，而且每个变量以及相应的概率分布和条件概率分布都有明确的物理解释了。这篇博文我们分三部分来说PLSA：基本思想，EM算法推导，以及优缺点分析。...
分类：
其他好文 时间：
2014-12-04 12:21:21
阅读次数：
418
监督学习的任务就是学习一个模型（或者得到一个目标函数）,应用这一模型，对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X)，或者条件概率分布P(Y|X)。
监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)和判别模型(discriminative model)。...
分类：
其他好文 时间：
2014-12-03 15:49:32
阅读次数：
174
条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。
CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理(Natural Language Processing，NLP） 、生物信息学、机器视觉及网络智能等领域。
1.序列标注的例子
标注（实体命名识别）：任命...
分类：
其他好文 时间：
2014-12-03 15:46:28
阅读次数：
242
布尔模型和向量空间模型可以给出文档内容和查询是否相关的非确定性的推测，而概率论的方法可以给这种推测提供一个基本的理论。 概率论基础知识 事件A发生的概率为P(A)，它满足0≤P(A)≤1，对于两个事件A、B，它们的联合事件发生的可能性通过联合概率P(A,B)描述，条件概率P(A|B)表示在事件B.....
分类：
其他好文 时间：
2014-12-01 23:56:46
阅读次数：
329
这是一个判别式汉语句法分析器的Java实现，基于最大熵模型和最大生成树模型，实现了中文依存句法的自动分析，在封闭测试集（取自训练集）上取得了99.20%的准确率（UA），分析速度达到570.7句/秒。判别式的分析方法该方法采用条件概率模型，将所有依存关系概率的累积作为目标函数的score，取scor...
分类：
其他好文 时间：
2014-11-26 20:37:23
阅读次数：
145
今天看了 Larry Wasserman写的 All of Statistics中的第一章，第一章主要讲概率，其中最主要的就是贝叶斯公式。要了解贝叶斯公式，就得知道全概率公式：
通俗的讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计，例如全概率公式中P(B)就是先验概率，求解方法有很多种，全概率公式是一种，也可以根据经验等，例如抛一枚硬币头向上的概率为0.5。
后验概率...
分类：
其他好文 时间：
2014-11-24 22:36:17
阅读次数：
324
联合概率的乘法公式：（如果随机变量是独立的，则）由乘法公式可得条件概率公式：，，全概率公式：，其中（，则，则可轻易推导出上式）贝叶斯公式：又名后验概率公式、逆概率公式：后验概率＝似然函数×先验概率/证据因子。解释如下，假设我们根据“手臂是否很长”这个随机变量（取值为“手臂很长”或“手臂不长”）的观测...
分类：
其他好文 时间：
2014-11-21 20:24:29
阅读次数：
215
本文主要参考资料 最小错误率是在统计的意义上说的，请注意其含义。 在这里要弄清楚条件概率这个概念。P(*|#)是条件概率的通用符号，在“|”后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率。P(ωK|X)是表示在X出现条件下，样本为ωK类的概率。 一个事物在某条件...
分类：
其他好文 时间：
2014-11-09 12:38:23
阅读次数：
223
