前面我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样， ...
分类：
其他好文 时间：
2018-08-16 00:57:09
阅读次数：
146
在采样之马尔科夫链中我们讲到给定一个概率平稳分布π, 很难直接找到对应的马尔科夫链状态转移矩阵P。而只要解决这个问题，我们就可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样 1.马尔科夫链的细致平稳条件 2. MCMC采样 ...
分类：
其他好文 时间：
2018-08-15 20:30:10
阅读次数：
392
在概率论中，对两个随机变量X和Y，其联合分布是同时对于X和Y的概率分布（关于概率分布的理论请参考：点这里）。 乍一看：“同时对于X和Y的概率分布”，感觉很懵，不懂是啥意思。没关系，我们带着这个疑问，继续往下看： 联合分布可以划分为两种，一种是关于离散随机变量的联合分布，另一种是关于连续随机变量的。 ...
分类：
其他好文 时间：
2018-08-10 19:38:57
阅读次数：
116
写在前面的话（可略过）： 一直想写下、整理下利用Tensorflow或Keras工具进行自然语言处理（NLP）方面的文章，对比和纠结了一段时间，发现博众家之长不如静下心来一步一个脚印地去看一本书来得更实在，虽然慢但是心里相对踏实些。近期刚把Thushan Ganegedara写的《Natural L ...
分类：
编程语言 时间：
2018-08-08 19:29:08
阅读次数：
221
MCMC算法的核心思想是我们已知一个概率密度函数，需要从这个概率分布中采样，来分析这个分布的一些统计特性，然而这个这个函数非常之复杂，怎么去采样？这时，就可以借助MCMC的思想。 它与变分自编码不同在于：VAE是已知一些样本点，这些样本肯定是来自于同一分布，但是我们不知道这个分布函数的具体表达式，然 ...
分类：
编程语言 时间：
2018-08-05 14:20:55
阅读次数：
175
浅谈无需工作量证明的加密货币 Iddo Bentov1，Ariel Gabizon2，Alex Mizrahi (Computer Science Dept., Technion; chromawallet.com) 译者：shylocks (shylocksyang@gmail.com) 摘要 ： ...
分类：
其他好文 时间：
2018-07-23 11:07:07
阅读次数：
309
隐马尔科夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。 1、隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列，再由各个状态随机生成一个观测 ...
分类：
其他好文 时间：
2018-07-20 22:36:24
阅读次数：
169
定义在random中的随机数库通过一组协作的类来生成随机数：random-number-engines（可以生成unsigned随机数序列）和random-number-distribution（使用引擎返回服从特定概率分布的随机数）。二者都是函数对象类。 运行结果为 16807 282475249 ...
分类：
其他好文 时间：
2018-07-19 18:12:56
阅读次数：
163
1、模型的定义 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分裂方法。首先我们来了解下贝叶斯定理和所要建立的模型。对于给定的数据集 假定输出的类别yi ∈ {c1, c2, ...., ck}，朴素贝叶斯通过训练数据集的来学习联合概率分布P(x|y)。但是直接求联合概率分布P(x|y)一般比较难， ...
分类：
编程语言 时间：
2018-07-12 21:47:32
阅读次数：
229
概率模型的应用： 1.中心任务：在给定观测变量X的条件下，计算潜在变量Z的后验概率分布p(Z|X)，以及关于p的期望。 2.任何未知的参数都有一个先验概率分布 eg：对于EM算法来说我们需要计算完整数据的对数似然函数关于潜在变量Z的后验概率分布的期望。 但在实际情况下，求解许多模型的后验概率分布或者 ...
分类：
其他好文 时间：
2018-07-09 14:11:26
阅读次数：
280
