1、概率模型
机器学习中的很多模型可以根据概率分布形式分为生成模型和判别模型，其中生成模型以输入输出的联合分布P(X,Y)为基础建模，如朴素贝叶斯、隐马尔可夫模型；判别模型以条件概率分布P(Y|X)为基础建模，如最大熵模型、条件随机场等。这几个模型之间有一定的关系，它们的关系如下：
其中，NB表示朴素贝叶斯，ME表示最大熵，HMM表示隐马尔科夫，CRF表示条件随机场。joint联合分布，co...
分类：
其他好文 时间：
2016-04-17 23:10:02
阅读次数：
392
第11章 条件随机场
条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这时问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习方法通常是...
分类：
其他好文 时间：
2016-03-30 13:14:33
阅读次数：
290
第5章 决策树
决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决...
分类：
其他好文 时间：
2016-03-30 13:13:19
阅读次数：
248
4.1朴素贝斯法的学习与分类
4.1.1基本方法
设输入空间为n维向量的集合，输出空间为类标记。P(X,Y)是X和Y的联合概率分布。训练数据集由P(X,Y)独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)，即先验概率分布和条件概率分布，从而学到联合概率分布P(X,Y)。
条件概率分布有指数级的参数，假设可能的取值有...
分类：
其他好文 时间：
2016-03-29 10:54:44
阅读次数：
142
首先要了解贝叶斯定理 说贝叶斯定理前先说说条件概率 假设有A,B事件则$P(A|B)$说的是在B事件发生下A事件发生的概率，计算公式为： $$P(A|B)=\frac{P(AB)}{P(B)}$$ 上式右边可理解为：A,B同时发生的概率在B发生概率中占的比率
分类：
其他好文 时间：
2016-03-08 23:59:29
阅读次数：
422
贝叶斯分类是统计学的一个分类方法，基于贝叶斯定理。首先贝叶斯分类的一个核心如果是一个属性值对给定类的影响独立于其它属性的值(类条件独立)。 先来看下条件概率： 设A、B是两个事件，且P(B)>0,则称 为在事件B发生的条件下,事件A的条件概率。 再来看一下贝叶斯定理：。 当中: X 是类标识未知的数
分类：
其他好文 时间：
2016-03-01 12:59:37
阅读次数：
202
题目链接 紫书P327 题意：有n个人准备去超市逛，其中第i个人买东西的概率是 Pi 。逛完以后你得知有 r 个人买了东西。根据这一信息，计算每个人实际买东西的概率。输入 n （ 1 <= n <= 20 ）和r（ 0 <= r <= n) 输出每个人实际买了的东西概率 分析： “ r 个人买了东西
分类：
其他好文 时间：
2016-02-29 12:49:30
阅读次数：
184
4.1 基于贝叶斯决策理论的分类方法 朴素贝叶斯 优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据 贝叶斯决策理论的核心思想：选择具有最高概率的决策。 4.2 条件概率 4.3 使用条件概率来分类 4.4 使用朴素贝叶斯进行文档分类
分类：
其他好文 时间：
2016-02-06 18:27:09
阅读次数：
323
共轭是贝叶斯理论中的一个概念，一般共轭要说是一个先验分布与似然函数共轭；那么就从贝叶斯理论中的先验概率，后验概率以及似然函数说起：在概率论中有一个条件概率公式，有两个变量第一个是A,第二个是B ,A先发生，B后发生，B的发生与否是与A有关系的，那么我们要想根据B的发生情况来计算 A发生的概率就是所谓...
分类：
其他好文 时间：
2016-01-19 23:22:27
阅读次数：
318
CPD是conditional probability distribution的缩写，翻译成中文叫做 条件概率分布。在概率图中，条件概率分布是一个非常重要的概念。因为概率图研究的是随机变量之间的练习，练习就是条件，条件就要求条件概率。 对于简单的条件概率而言，我们可以用一个条件概率表来表达。...
分类：
其他好文 时间：
2016-01-12 23:12:33
阅读次数：
515
