MATLAB 随机过程仿真 １．离散时间的马尔科夫链仿真 ｍａｔｌａｂ P = [0.2, 0.3, 0.5; 0.5, 0.1, 0.4; 0.6, 0.2, 0.2]; % 给出一步转移矩阵 S = [1, 2, 3]; n = 1; % 给出状态空间 X %初始时刻 N = 100; %迭代步 ...
分类：
其他好文 时间：
2018-12-27 22:54:36
阅读次数：
217
针对马尔科夫模型不完全已知，即转移概率未知，不能全概率展开的情况，上一篇介绍了策略评估的方法，这一篇对应介绍策略改进的方法，分别是 针对每一个完整决策过程，先估计策略再改进策略的蒙特卡洛同策略学习方式； 针对完整决策过程中的每一步状态动作对生成，评估改进同一个策略$\pi$的时序差分同策略Sarsa ...
分类：
其他好文 时间：
2018-12-18 21:22:30
阅读次数：
279
转自：https://blog.csdn.net/pipisorry/article/details/46618991 1、确定性模式（Deterministic Patterns）：确定性系统 考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机 ...
分类：
编程语言 时间：
2018-12-09 12:17:58
阅读次数：
224
原文：https://blog.csdn.net/jrunw/article/details/79205322 弱人工智能近几年取得了重大突破，悄然间，已经成为每个人生活中必不可少的一部分。以我们的智能手机为例，看看到底温藏着多少人工智能的神奇魔术。 下图是一部典型的智能手机上安装的一些常见应用程序 ...
分类：
编程语言 时间：
2018-12-08 19:39:03
阅读次数：
184
承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。这即是对荷兰数学家惠更斯提出的无后效原理的概率推广 ...
分类：
其他好文 时间：
2018-12-05 02:03:14
阅读次数：
240
主要是记录一些我认为比较有代表性的知识点~ 1.自然语言处理解决问题的方法经历了从规则（句法分析：主谓宾动名形容词）到统计的转变。 2.N元模型：P(s)=P(w1,w2,...wn)句子s出现的概率由其中的词出现的概率计算，基于马尔科夫假设（任意一个词wi出现的概率只同它前面的词Wi-1有关），该 ...
分类：
其他好文 时间：
2018-12-03 15:34:19
阅读次数：
172
概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，结点之间的变表是变量间的概率相关关系。根据边的性质不同，可以将概率图模型分为两类：一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；另一类是使用无向图表示变量间的相关关系 ...
分类：
编程语言 时间：
2018-12-01 17:10:43
阅读次数：
249
在这里我们仍然使用非常简单的天气模型来做说明。在这个马尔可夫模型中，存在三个状态，Sunny， Rainy， Cloudy，同时图片上标的是各个状态间的转移概率（如果不明白什么是转移概率，那建议先去学习什么是马尔可夫再来看HMM）。现在我们要说明什么是 HMM。既是隐形，说明这些状态是观测不到的，相 ...
分类：
其他好文 时间：
2018-12-01 17:01:06
阅读次数：
203
一：介绍（Introduction） 我们通常都习惯寻找一个事物在一段时间里的变化模式（规律），这些模式发生在很多领域，比如计算机中的指令序列，句子中的词语顺序和口语单词的因素修咧等等，事实上任何领域中的一系列事件都有可能产生有用的模式。 考虑一个简单的例子，有人试图通过一片海藻推断天气——民间传说 ...
分类：
其他好文 时间：
2018-12-01 16:02:47
阅读次数：
162
p(xt | z1:t-1) = f p(xt | xt-1, z1:t-1)P(xt-1 | z1:t-1)dxt-1 根据马尔科夫假设，当前的状态只与前一时刻的状态有关，与历史观测值无关，通常去掉,z1:t-1，f表示积分 查普曼-科莫高洛夫方程： p(xt | z1:t-1) = f p(xt ...
分类：
其他好文 时间：
2018-11-24 16:37:21
阅读次数：
148
