MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)MCMC采样和M-H采样 MCMC(四)Gibbs采样（待填坑） 在MCMC(二)马尔科夫链中我们讲到给定一个概率平稳分布$\pi$, 很难直接找到对应的马尔科夫链状态转移矩阵$P$。而只要解决这个问题，我们就可以找到一种通用的概率 ...
分类：
其他好文 时间：
2017-03-29 15:31:41
阅读次数：
456
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)M-H采样和Gibbs采样（待填坑） 在MCMC(一)蒙特卡罗方法中，我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法，但是这个方法需要得到对应的概率分布的样本集，而想得到这样的样本集很困难。因此我们需 ...
分类：
其他好文 时间：
2017-03-28 16:02:11
阅读次数：
174
MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链（待填坑） MCMC(三)M-H采样和Gibbs采样（待填坑） 作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习,深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求 ...
分类：
其他好文 时间：
2017-03-27 15:37:58
阅读次数：
165
1.什么是Gibbs采样Gibbs采样是MH算法的一种特例（α==1)，因此可以保证Gibbs抽取的样本，也构成一个非周期不可约稳定收敛的马氏链；Gibbs采样适用于样本是两维或以上的情况；通过积分去除掉相关但是不感兴趣的变量，称为“collapsed”的Gibbs采样；并且个人的一个感觉是，观测..
分类：
其他好文 时间：
2017-01-23 15:55:23
阅读次数：
912
一．聚类算法： 1.1LDA算法： 算法的目的：对文本进行聚类，得到几簇相似的样本。 算法的流程： 预处理：统计sscCorpus中所有的词、词频、词的标号。 初始化：形成初始的文章-主题和主题-词的矩阵(最开始) Gibbs 采样：使用Gibbs采样得到稳定的文章-主题和主题-词的矩阵 每一簇的主 ...
分类：
编程语言 时间：
2016-12-12 22:05:44
阅读次数：
322
参数估计：主要有EM算法和Gibbs采样 EM算法： Gibbs采样： ...
分类：
其他好文 时间：
2016-12-08 20:36:18
阅读次数：
176
本文用讲一下指定分布的随机抽样方法：MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理，并用R语言实现了几个例子： 1. Markov Chain （马尔科夫链） 2. Random Walk（随机游走） 3. ...
分类：
其他好文 时间：
2016-04-05 14:06:43
阅读次数：
240
MPI 是“Message Passing Interface”的缩写，通常用来做单机多线程的并发编程。
1. GibbsLDA++中训练框架大致如下：
循环：训练过程迭代N次
{
循环：遍历每一个训练样本（指doc）
{
循环：遍历训练样本中的每一个word
{
循环：gibbs采样过...
分类：
其他好文 时间：
2015-06-21 18:33:37
阅读次数：
237
了解LDA需要明白如下数学原理：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA（文档-主题，主题-词语）
一个采样：Gibbs采样...
分类：
其他好文 时间：
2015-01-13 10:32:11
阅读次数：
185
本文用讲一下指定分布的随机抽样方法：MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理，并用R语言实现了几个例子：
1. Markov Chain （马尔科夫链）
2. Random Walk（随机游走）
3. MCMC具体方法：
3.1 M-H法
3.2 Gibbs采样
PS：本篇blog为ese机器学习短期班参考资料（20140516课程）。...
分类：
其他好文 时间：
2014-05-15 23:58:14
阅读次数：
536
