使用R语言进行Metroplis-in-Gibbs采样和MCMC运行分析 ...
分类：
编程语言 时间：
2020-04-19 14:28:08
阅读次数：
115
给定一个分布 $p(x)$，计算机中如何进行采样？本文大致介绍了计算机中如何对均匀分布进行采样，并对离散分布和连续分布采样进行了简单介绍。本文不涉及 MCMC 和 Gibbs 采样。 ...
分类：
其他好文 时间：
2019-01-02 23:30:31
阅读次数：
539
本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。 1. Gibbs采样算法求解LDA的思路 首先，回顾LDA的模 ...
分类：
编程语言 时间：
2018-12-04 13:06:33
阅读次数：
147
摘要： 当我们已知模型的存在，想知道参数的时候我们就可以通过采样的方式来获得一定数量的样本，从而学习到这个系统的参数。变分则是在采样的基础上的一次提升，采用相邻结点的期望。这使得变分往往比采样算法更高效：用一次期望计算代替了大量的采样。直观上，均值的信息是高密(dense)的，而采样值的信息是稀疏( ...
分类：
其他好文 时间：
2018-11-10 20:13:57
阅读次数：
140
前面我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样， ...
分类：
其他好文 时间：
2018-08-16 00:57:09
阅读次数：
146
本文介绍了线性混合效应模型的新型贝叶斯分析。该分析基于部分折叠的方法，该方法允许某些组件从模型中部分折叠。得到的部分折叠的Gibbs（PCG）采样器被构造成适合线性混合效应模型，预计会比相应的Gibbs采样器表现出更好的收敛特性。为了构建PCG采样器而不使组件更新复杂化，我们考虑通过在线性混合效应模 ...
分类：
其他好文 时间：
2018-08-15 18:33:30
阅读次数：
134
1、MCMC概述 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。之前已经介绍过蒙特卡洛方法，接下来介绍马尔科夫链，以及结合两者的采样算法。 2、马尔科夫链 马尔科夫链的概念在 ...
分类：
编程语言 时间：
2018-07-24 13:16:04
阅读次数：
208
文本主题模型之LDA(一) LDA基础 文本主题模型之LDA(二) LDA求解之Gibbs采样算法 文本主题模型之LDA(三) LDA求解之变分推断EM算法 本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了EM算法，如果你对EM算法不熟悉，建议 ...
分类：
编程语言 时间：
2017-05-22 13:40:11
阅读次数：
1493
如果万一大家看到了本篇文章，为了不浪费大家的时间，请大家直接看 http://blog.csdn.net/itplus/article/details/19168937， 写在很好，太好好好！！！（本篇内容仅仅用于我的自我复习） 长什么样？ 它长这样子： 它的特点： 在给定可见层单元状态（输入数据）... ...
分类：
其他好文 时间：
2017-05-19 10:06:14
阅读次数：
129
gibbs采样关键字一关键字二参数估计与预测机器学习的一般思路为：1.从问题的本质中构建模型，定义样本的产生，有联合概率(图模型)。2.进行模型参数的估计：MLE、MAP、Bayes。3.使用模型对新样本进行估计。MLE：极大似然估计估计：解优化函数预测：MAP：极大后验估计估计：解优化函数预测：对... ...
分类：
其他好文 时间：
2017-03-30 19:21:03
阅读次数：
221
