【随机过程】马尔可夫链(2)

标签（空格分隔）： 【信号处理】

声明：引用请注明出处http://blog.csdn.net/lg1259156776/

说明：马尔科夫链是一个离散的马尔科夫过程，本文主要对马尔科夫链的几个比较绕的概念进行理解，然后对马尔科夫链的状态分类进行阐释。

几个概念

首先一个非常值得提醒的就是，我们在学习随机过程的基础理论的时候会经常讲，但是到了介绍某几个具体的随机过程的详细知识的时候总会忘记，那就是一个非常重要的前提：它是一个平稳随机过程。注意了，一定是平稳的，不平稳的基本上现在不涉及，不研究。

然后是提到了马尔科夫链的状态转移图和状态转移矩阵，这两者可以相互推出。这里要提的就是状态转移图是一个非常有用的分析方法，常常在数字电路设计中用到，虽然两者的表现形式可能不同，但是基本的思想还是一致的。有些问题就可以通过这种方法非常直观地展现出来，或者辅助思考。

可达，相通，不可约（处处相通）这三个概念，上一篇讲过；

首达时间和首达概率，这个概念还是有用的，下面会结合例子进行说明：
首达时间，马尔科夫链，从状态i开始，第一次到达状态j的步数或时间，而首达概率则是从状态i开始，经历n步，首次到达状态j的概率，记为$f_{ij}^n$，那么这里对n进行积分，离散的当然是求和了，得到的概率被记作$f_{ij}$，指的是不管多少步，只要是从状态i出发，首次达到j的概率。
说到应用和意义，它可以对系统在一段时间内正常运转的可靠性进行概率建模，还是上一讲中的例子，不可约链，一个没有人维护的自然系统，总会经历3中状态，而最后一种吸收态，被称之为“黑洞”，进去了就出不来了，对应的就是报废状态。另外两种状态都是可以相互转化的，因此，可靠性的意思就是系统在该段时间内都是处在状态1，2中，而不是状态3，反过来思考就是，在[1,n]内状态可靠的概率就是1-不可靠的概率，而在[1,n]内不可靠的概率如何计算呢，试着想想首达时间，也就说首达时间落入了[1,n]内，这样可以计算首达时间是1到n的概率，在区间[1,n-1]内积分，求和，得到的概率就是不可靠的概率，1减去它就可以了。

状态分类

用$f_{ii}$进行说明定义，如果$f_{ii}=1$，说明从状态i开始，经历有限的若干步骤，总能返回到状态i，这样的状态i被称之为常返状态。如果$f_{ii}<1$则被称之为非常返/瞬时状态。那么{$f_{ii}^n,n=1,...$}是一个概率分布喽，因为任何一个$f_{ii}^n=1$都是互斥不相容事件。那么在$f_{ii}=1$的情况下，就可以计算期望的返回时间，$\mu_i=\sum_{n=1} nf_{ii}^n$。如果$\mu_i$有限，则称之为正常返，否则称之为零常返。

还有一个周期的概念，周期指的是所有能够首次返回的步数的集合的最小公约数d(i)。{$n:n\ge1,p_{ii}>0$}，那么如果d(i)=1，不好意思，实际上就是该状态上有一个环儿，自己能一步到自己，被称为非周期的。如果d(i)>1，则称状态i为周期的。

而正常返非周期则被称之为遍历状态。

有没有搞糊涂，反正我学过两遍，还行。

用状态转移概率矩阵来判断状态分类

这一小段被我睡过去了，忘了，回头再补！

2015-11-09 蹭课笔记 张朋艺