决策树意义： 分类决策树模型是表示基于特征对实例进行分类的树形结构.决策树可以转换为一个if_then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布. 它着眼于从一组无次序、无规则的样本数据（概念）中推理出决策树表示形式的分类规则.假设这里的样本数据应该能够用“属性—结论”.决策树学 ...
分类：
其他好文 时间：
2016-10-10 23:27:32
阅读次数：
408
一、古典概率，几何概率，统计概率相同性质。 二、概率论三公理 三、条件概率 四、乘法定理及推广 五、全概率公式 六、贝叶斯公式 七、独立事件的推论 另注意独立事件和事件互不相容的区分。 八、二项概率公式 九、 泊松逼近 证明： ...
分类：
其他好文 时间：
2016-10-09 06:58:24
阅读次数：
257
朴素贝叶斯分类 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。实现简单、学习和预测的效率都很高，是一种常用的分类方法。贝叶斯分类器是一个统计分类器。它们能够预测类别所属的概率。接下来将介绍贝叶斯定理和特征条件独立假设。 准备知识 条件概率：若Ω是全集，A、B是其中的事件（子集），P表示事件 ...
分类：
其他好文 时间：
2016-09-14 12:34:23
阅读次数：
169
Hello，我就是人见人爱，花见花开，蜜蜂见了会打转的小花。。哈哈，我们终于讲到了当年大学让我头痛不已的贝叶斯。先给个模型： 一：贝叶斯定理 维基百科定义：贝叶斯定理（英语：Bayes' theorem）是概率论中的一个定理，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯 ...
分类：
编程语言 时间：
2016-09-13 11:32:29
阅读次数：
210
条件熵的形式如下： （8.8） 这个形式与熵的定义形式，咋一看是冲突的，因为不是p(x|y),而是p(x,y) 但是，这个式子是没有问题的，请看下图 上面得到的计算公式是针对y为一个特殊值y时求得的熵。 也就是说，对条件概率p(x|y)求西格玛x, 西格玛y的时候，首先是固定y,对西格玛X求和 这也 ...
分类：
其他好文 时间：
2016-09-04 17:11:24
阅读次数：
131
PLSA隐变量主题模型，公式推导网上也好，还是书上也好，都属于从略。 但是无论对于新手来说，还是老手，从略是不合适的，这不是一个科学对待的态度。机器学习就这么几个模型，从略是不是也对不起自己了 好了，闲话少说： 这是第一步，都是使用的条件概率公式，当然，分母p(di,wj)的分解，使用的是CK方程， ...
分类：
其他好文 时间：
2016-09-04 17:10:17
阅读次数：
179
EX1： 乔伊80%肯定他把失踪的钥匙放在了他外套两个口袋中的一个。他40%确定放在左口袋，40%确定放在右口袋。如果检查了左口袋发现没有找到钥匙，那么钥匙在右口袋的条件概率是多少？ 分析：很基本的条件概率的题目，解决的关键就是找到哪个事件是我们要求解的事件的条件事件。 解决条件概率问题不一定必须套 ...
分类：
其他好文 时间：
2016-09-03 08:34:08
阅读次数：
196
一 条件概率问题 （1）设备总共甲乙2类，数量比例为3/4，每天通过甲设备访问网站的概率为0.012%，通过乙设备访问网站的概率为0.008%， 某天网站被访问，请问是通过甲设备访问的概率是多少？ （2）扑克牌6张背面朝上放在桌上，其中有3张有效牌，3张无效牌。在不知有多少张有效牌的情况下，A随机抽 ...
分类：
其他好文 时间：
2016-09-02 20:16:15
阅读次数：
148
产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于： 对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x)产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行 ...
分类：
其他好文 时间：
2016-09-01 12:30:26
阅读次数：
124
CRF 的预测问题是给定模型参数和输入序列（观测序列）x， 求条件概率最大的输出序列（标记序列）$y^*$，即对观测序列进行标注。条件随机场的预测算法同 HMM 还是维特比算法，根据 CRF模型可得： \begin{aligned}y^* &= \arg \max_yP_w(y|x) \\&= \a... ...
分类：
编程语言 时间：
2016-08-31 18:47:59
阅读次数：
191
