1. 蒙特卡洛估计 若$\theta$是要估计的参数，$y_{1},...,y_{n}$是从分布$p(y_{1},...,y_{n}|\theta) $中采样的样本值，假定我们从后验分布$p(\theta|y_{1},...,y_{n})$中独立随机采样$S$个$\theta$值，则 $$\thet ...
分类：
编程语言 时间：
2016-07-12 23:26:30
阅读次数：
480
在前三周的作业中，我构造了概率图模型并调用第三方的求解器对器进行了求解，最终获得了每个随机变量的分布（有向图），最大后验分布（双向图）。本周作业的主要内容就是自行编写概率图模型的求解器。实际上，从根本上来说求解器并不是必要的。其作用只是求取边缘分布或者MAP，在得到联合CPD后，寻找联合CPD的最大 ...
分类：
其他好文 时间：
2016-04-15 21:35:36
阅读次数：
319
注意：$\alpha$和$\beta$已知，常用为（和LDA EM算法不同）1. 为什么可用LDA模型求解的目标为得到$\phi$和$\theta$假设现在已知每个单词对应的主题$z$，则可以求得$\theta$的后验分布，求期望得到$E(\theta)$作为每份文档的主题$E(\theta_{mk...
分类：
其他好文 时间：
2015-04-23 12:22:33
阅读次数：
173
共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个：1.简化贝叶斯公式中概率函数的计算；2.在贝叶斯公式包含多种概率分布的情况下，使这些分布的未知参数在试验前被赋予的物理意义，延续到试验后，便于分析。第二个作用尤为重要。...
分类：
其他好文 时间：
2014-10-06 10:19:30
阅读次数：
162
贝叶斯统计是基于贝叶斯定理的一种经典的统计学习方法。假定样本为X，参数为θ，则贝叶斯统计为：P(θ|X)=P(X|θ)*P(θ)/P(X)。其中，P(θ)为先验分布，P(X|θ)表示似然概率，P(θ|X)表示后验分布。在贝叶斯统计中，最重要的一个问题是关于先验分布的选择，它会在很大程度上影响最终结果...
分类：
其他好文 时间：
2014-09-23 21:44:35
阅读次数：
177
