Gamma分布与共轭先验 Gamma函数 对于整数$n$的阶乘，我们有$n!=n\times (n 1)...\times1$。 对于实数$x$的阶乘，计算公式为： $$ \Gamma(x)=\int_0^\infty t^{x 1}e^{ t}\,dt $$ 性质如下： 1. $\Gamma(x+ ...
分类：
其他好文 时间：
2020-01-17 23:16:16
阅读次数：
436
这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： 以上的推导过程就是极大似然估计，我们可以看出u就是样本出现的频率 ...
分类：
其他好文 时间：
2018-12-19 23:24:42
阅读次数：
257
知识点：伯努利分布、二项式分布、多项式分布、先验概率，后验概率，共轭分布、贝塔分布、贝塔-二项分布、负二项分布、狄里克雷分布，伽马函数、分布 一，伯努利分布(bernouli distribution) 又叫做0-1分布，指一次随机试验，结果只有两种。也就是一个随机变量的取值只有0和1。 记为：0- ...
分类：
其他好文 时间：
2018-10-05 22:38:56
阅读次数：
191
参考这篇文章，我觉得讲的还是比较清楚的： https://blog.csdn.net/jteng/article/details/61932891 ...
分类：
其他好文 时间：
2018-04-15 13:39:07
阅读次数：
98
参考： https://blog.csdn.net/xianlingmao/article/details/7340099 wiki 理解了贝叶斯之后，再理解这些概念就轻松很多，原文如下。 在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的 ...
分类：
其他好文 时间：
2018-04-09 20:59:02
阅读次数：
191
1.常见离散变量的概率分布 2.常见连续变量的概率分布： 共轭分布： 伯努利分布和Beta分布互为共轭： Beta 分布 多项分布和狄利克雷分布互为共轭 拉普拉斯分布：待续 ...
分类：
其他好文 时间：
2017-03-07 09:09:27
阅读次数：
763
目录0基于文本分析的参数估计... 11 参数估计方法... 11.1最大似然估计MLE. 21.2最大后验概率... 31.3贝叶斯推理... 42 共轭分布... 72.1 随机生成过程及共轭分布... 72.2 Multinomial分布和 Dirichlet分布... 83 unigram ...
分类：
其他好文 时间：
2015-09-29 13:06:39
阅读次数：
1471
如果你读过贝叶斯学习方面的书或者论文，想必是知道共轭先验这个名词的。现在假设你闭上眼睛，你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗？我之前就常常把这个关系弄错，现在记录如下，以加强印象。贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响，而引入先验信息的手段有“...
分类：
其他好文 时间：
2015-08-19 00:17:12
阅读次数：
178
【机器学习中的数学】多项式分布及其共轭分布多项变量(Multinomial Variables) 二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的.....
分类：
其他好文 时间：
2015-05-13 21:16:01
阅读次数：
120
多项变量(Multinomial Variables)二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。
现在我们考虑N个独立的观测D={x1,…,xN}，得到其似然函数。如图：
多项式分布(The Mult...
分类：
其他好文 时间：
2015-05-12 00:13:08
阅读次数：
143
