马尔科夫模型主要元素有3个部分 状态，动作，奖励。 对奖励的设置一定慎重，并且深谋远虑。如下图右侧： 绿色方块是 生 红色方块是 死，游戏目的是使agent尽快到达绿色方块。 1：动作奖励正数过高，会使agent一直在方格世界里兜圈子，不想出去。因为这样每多走一步，都会获得正的奖励。 2：动作奖励负 ...
分类：
其他好文 时间：
2018-05-21 16:12:31
阅读次数：
161
给定t时刻以及之前的所有观测z和输入u，我们的目标是求得当前状态量x的概率分布（belief），即 $$bel(x_t)=p(x_t|z_{1:t}, u_{1:t})$$ 在实际使用中，一般将求解过程分为两步，首先求解在t时刻观测前的先验分布，即 $$\overline{bel}(x_t)=p(x ...
分类：
其他好文 时间：
2018-05-19 13:53:12
阅读次数：
169
HMM算法想必大家已经听说了好多次了，完全看公式一头雾水。但是HMM的基本理论其实很简单。因为HMM是马尔科夫链中的一种，只是它的状态不能直接被观察到，但是可以通过观察向量间接的反映出来，即每一个观察向量由一个具有相应概率密度分布的状态序列产生，又由于每一个状态也是随机分布的，所以HMM是一个双重随 ...
分类：
其他好文 时间：
2018-05-19 13:13:36
阅读次数：
232
R语言：R2OpenBUGS 用这个包调用BUGS model,分别用表格和图形概述inference和convergence，保存估计的结果 as.bugs.array 转换成bugs object 函数把马尔科夫链估计结果（不是来自于BUGS），转成BUGS object，主要用来plot.bu ...
分类：
编程语言 时间：
2018-05-12 22:31:55
阅读次数：
303
---java实现---自然语言处理---用隐马尔科夫模型（HMM）实现词性标注---1998年1月份人民日报语料---learn---test---evaluation---Demo--- ...
分类：
编程语言 时间：
2018-05-03 20:47:09
阅读次数：
711
根据《统计学习方法》一书中的描述，条件随机场（conditional random field, CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。 条件随机场是一种判别式模型。 一、理解条件随机场 1.1 HMM简单介绍 HMM即 ...
分类：
其他好文 时间：
2018-05-03 19:29:38
阅读次数：
368
本文主要介绍隐马尔可夫模型以及该模型中的三大问题的解决方法。 隐马尔可夫模型的是处理序列问题的统计学模型，描述的过程为：由隐马尔科夫链随机生成不可观测的状态随机序列，然后各个状态分别生成一个观测，从而产生观测随机序列。 在这个过程中，不可观测的序列称为状态序列(state sequence), 由此 ...
分类：
其他好文 时间：
2018-05-02 15:56:07
阅读次数：
293
概率论中的Chapman-Kolmogorov方程（或CKS方程）是指：https://en.wikipedia.org/wiki/Chapman%E2%80%93Kolmogorov_equation $p_n(x_n,t_n;x_{n-1},t_{n-1};\ldots;x_2,t_2;x_1, ...
分类：
其他好文 时间：
2018-04-29 18:41:22
阅读次数：
126
经历了马尔科夫链以及平稳随机过程的虐，我突然明白概率的解题思路，其实就是首先分析“基础场景”是连续还是离散，连续就考虑概率密度，离散就考虑概率；或者如果已经概率分布函数就利用概率分布函数； 然后基于基础场景再来分析采用那种数学特征，期望，方差，均值，还是协变量，或者复杂一点的方差函数，均值函数，自相 ...
分类：
其他好文 时间：
2018-04-29 16:18:04
阅读次数：
150
www.sohu.com/a/159976204_717210 生成模型：基于联合概率~共生关系判别模型：基于条件概率~因果关系 生成模型之学习数据分布：1)概率密度函数估计 2)数据样本生成 模型目标：训练模型，生成样本模型，学习过程是让两者接近解决问题： 数据缺失-因为可以用生成模型自己生成数据 ...
分类：
其他好文 时间：
2018-04-29 13:33:16
阅读次数：
206
