主题模型（topic modeling）是一种常见的机器学习应用，主要用于对文本进行分类。传统的文本分类器，例如贝叶斯、KNN和SVM分类器，只能将测试对象分到某一个类别中，假设我给出三个分类：“算法”、“网络”和“编译”让其判断，这些分类器往往将对象归到某一类中。 但是如果一个外行完全给不出备选类 ...
分类：
其他好文 时间：
2017-06-03 11:16:43
阅读次数：
362
在 机器学习中的贝叶斯方法 先验概率、似然函数、后验概率的理解及如何使用贝叶斯进行模型预测（1） 文章中介绍了先验分布和似然函数，接下来，将重点介绍后验概率，以及先验概率、似然函数、后验概率三者之间的关系 贝叶斯公式。 在这篇文章中，我们通过最大化似然函数求得的参数 r 与硬币的抛掷次数(抛掷次数是 ...
分类：
其他好文 时间：
2017-04-01 21:53:23
阅读次数：
316
问题描述： 已知： (1)参数$\Theta$的先验分布$p_{\Theta}(\theta)$ (2)$\theta$给定的前提下，相关变量$X$的分布：$p_{X|\Theta}(x|\theta)$ (3)$X$的一系列观测样本：$X_1,X_2,\cdots,X_n$ 求： 参数$\Thet ...
分类：
其他好文 时间：
2017-03-27 13:20:26
阅读次数：
136
贝叶斯法则 贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。 贝叶斯统计中的两个基本概念是先验分布和后验分布： 1、先验分布。总体分布参 ...
分类：
其他好文 时间：
2017-03-08 17:34:37
阅读次数：
238
目录
1Bayesian model selection贝叶斯模型选择
1奥卡姆剃刀Occams razor原理
2Computing the marginal likelihood evidence
2-1 BIC approximation to log marginal likelihood
2-2贝叶斯因子
3先验
3-1 确定无信息先验分布的Jeffreys原则
3-2共轭先验Conjug...
分类：
其他好文 时间：
2016-04-05 10:50:57
阅读次数：
304
共轭是贝叶斯理论中的一个概念，一般共轭要说是一个先验分布与似然函数共轭；那么就从贝叶斯理论中的先验概率，后验概率以及似然函数说起：在概率论中有一个条件概率公式，有两个变量第一个是A,第二个是B ,A先发生，B后发生，B的发生与否是与A有关系的，那么我们要想根据B的发生情况来计算 A发生的概率就是所谓...
分类：
其他好文 时间：
2016-01-19 23:22:27
阅读次数：
318
1.LDALDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设：1）整个文档集合中存在k个互相独立的主题；2）每一个主题是词上的多项分布；3）每一个文档由k个主题随机混合组成；4）每一个文档是k个主题上的多项分布；5）每一个文档的主题概率分布的先验分布是Dirichlet...
分类：
编程语言 时间：
2015-12-21 15:52:13
阅读次数：
919
最大后验估计（MAP） 最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，最大区别是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。 ...
分类：
其他好文 时间：
2015-09-12 13:37:52
阅读次数：
147
共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个：1.简化贝叶斯公式中概率函数的计算；2.在贝叶斯公式包含多种概率分布的情况下，使这些分布的未知参数在试验前被赋予的物理意义，延续到试验后，便于分析。第二个作用尤为重要。...
分类：
其他好文 时间：
2014-10-06 10:19:30
阅读次数：
162
贝叶斯统计是基于贝叶斯定理的一种经典的统计学习方法。假定样本为X，参数为θ，则贝叶斯统计为：P(θ|X)=P(X|θ)*P(θ)/P(X)。其中，P(θ)为先验分布，P(X|θ)表示似然概率，P(θ|X)表示后验分布。在贝叶斯统计中，最重要的一个问题是关于先验分布的选择，它会在很大程度上影响最终结果...
分类：
其他好文 时间：
2014-09-23 21:44:35
阅读次数：
177
