在本文中，我们将在贝叶斯框架中引入回归建模，并使用PyMC3 MCMC库进行推理。 我们将首先回顾经典或频率论者的多重线性回归方法。然后我们将讨论贝叶斯如何考虑线性回归。 用PyMC3进行贝叶斯线性回归 在本节中，我们将对统计实例进行一种历史悠久的方法，即模拟一些我们知道的属性的数据，然后拟合一个模 ...
分类：
编程语言 时间：
2019-06-20 15:50:09
阅读次数：
250
恢复内容开始 作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov chain Monte Carlo，以下简称MCMC）在机器学习，深度学习以及自然语言处理等领域有广泛的应用，是很多复杂算法求解的基础。比如分解机（Factorization Machines）推荐算法，还有前面讲到的受限玻尔兹曼 ...
分类：
其他好文 时间：
2019-05-21 11:02:37
阅读次数：
133
在逻辑回归中，我们将二元响应\（Y_i \）回归到协变量\（X_i \）上。 下面的代码使用Metropolis采样来探索\（\ beta_1 \）和\（\ beta_2 \）的后验。 YiYi到协变量XiXi。让 定义expit和logit链接函数 这是MCMC的主要功能。can.sd是候选标准偏 ...
分类：
编程语言 时间：
2019-04-16 17:47:49
阅读次数：
381
给定一个分布 $p(x)$，计算机中如何进行采样？本文大致介绍了计算机中如何对均匀分布进行采样，并对离散分布和连续分布采样进行了简单介绍。本文不涉及 MCMC 和 Gibbs 采样。 ...
分类：
其他好文 时间：
2019-01-02 23:30:31
阅读次数：
539
本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。 1. Gibbs采样算法求解LDA的思路 首先，回顾LDA的模 ...
分类：
编程语言 时间：
2018-12-04 13:06:33
阅读次数：
147
二维Gibbs Sampling算法 Gibbs Sampling是高维概率分布的MCMC采样方法。二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景 （1）平行于y轴转移，如上图中从状态A转移到状态B。 （2）平行于x轴转移，如上图中从状态A转移到状态C。 （3）其他情况转移，如 ...
分类：
其他好文 时间：
2018-10-05 10:42:20
阅读次数：
135
蒙特卡洛（Monte Carlo）法是一类随机算法的统称。随着二十世纪电子计算机的出现，蒙特卡洛法已经在诸多领域展现出了超强的能力。在机器学习和自然语言处理技术中，常常被用到的MCMC也是由此发展而来。本文通过蒙特卡洛法最为常见的一种应用——求解定积分，来演示这类算法的核心思想。 无意识统计学家法则 ...
分类：
其他好文 时间：
2018-10-04 11:26:50
阅读次数：
199
1、IRT模型概述 IRT（item response theory 项目反映理论）模型。IRT模型用来描述被试者能力和项目特性之间的关系。在现实生活中，由于被试者的能力不能通过可观测的数据进行描述，所以IRT模型用一个潜变量 $ \theta $ 来表示，并考虑与项目相关的一组参数来分析正确回答测 ...
分类：
编程语言 时间：
2018-09-11 21:22:21
阅读次数：
1606
在采样之马尔科夫链中我们讲到给定一个概率平稳分布π, 很难直接找到对应的马尔科夫链状态转移矩阵P。而只要解决这个问题，我们就可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样 1.马尔科夫链的细致平稳条件 2. MCMC采样 ...
分类：
其他好文 时间：
2018-08-15 20:30:10
阅读次数：
392
MCMC算法的核心思想是我们已知一个概率密度函数，需要从这个概率分布中采样，来分析这个分布的一些统计特性，然而这个这个函数非常之复杂，怎么去采样？这时，就可以借助MCMC的思想。 它与变分自编码不同在于：VAE是已知一些样本点，这些样本肯定是来自于同一分布，但是我们不知道这个分布函数的具体表达式，然 ...
分类：
编程语言 时间：
2018-08-05 14:20:55
阅读次数：
175
