标签：独立 hat min 想法 定义 for 期望 math 不可
马尔可夫链蒙特卡罗法
蒙特卡罗法
思想：假设概率分布的定义已知，然后通过随机抽样获得概率分布的随机样本，通过得到的随机样本对概率分布的特征进行分析。
for example：从随机抽出的样本中计算出样本均值，从而得到总体的期望。
蒙特卡罗方法的核心：随机抽样
主要有直接抽样，接受-拒绝抽样，重要性抽样
随机抽样
接受拒绝抽样
input：抽样的目标概率分布的概率密度函数\(p(x)\)
output：概率分布的随机样本\(x_1,x_2,...,x_n\)
parameters：样本数n
建议分布：\(q(x)\)，概率分布：\(p(x)\)
\[u<= \frac{p(x^* )}{cq(x^ * )}
\]
数学期望估计
样本均值：\(\hat{f_n}\)
\[\hat{f_n} = \frac{1}{n}\sum_{i=1}^nf(x_i)
\]
根据大数定律可知，当样本容量增大时，样本均值以概率1收敛于数学期望：
\[\hat{f_n} -> E_{p(x)}[f(x)]~,~n->\infty
\]
\[E_{p(x)}[f(x)] = \frac{1}{n}\sum_{i=1}^nf(x_i)
\]
积分计e算
\[\int_{\mathcal{X}}h(x)dx
\]
将\(h(x)\)分解成为一个函数\(f(x)\)和一个密度函数\(p(x)\)
\[\int_{\mathcal{X}}h(x)dx = \int_{\mathcal{X}}f(x)p(x)dx = E_{p(x)}[f(x)]
\]
summery
一般的蒙特卡罗法中的抽样分布是独立的，而马尔可夫链蒙特卡罗法中的抽样样本不是独立的，样本序列形成马尔可夫链
马尔可夫链
基本定义
马尔可夫性：
\[P(X_t|X_0,X_1,X_2,...,X_{t-1}) = P(X_t|X_{t-1})~,~t=1,2,...,n
\]
马尔可夫链（具有马尔可夫性的随机序列）也称之为马尔可夫过程：
\[X = \lbrace X_0,X_1,X_2,...,X_t,...\rbrace
\]
马尔可夫链的转移概率分布(决定了马尔可夫链的特性)：
\[P(X_t|X_{t-1})~,~t=1,2,3,...,n
\]
时间齐次的马尔可夫链（转移概率分布\(P(X_t|X_{t-1})\)与t无关）：
\[P(X_{t+s}|X_{t-1+s}) = P(X_t|X_{t-1})~,~t=1,2,3,...,n
\]
另外，还有n阶马尔可夫链，n阶马尔可夫链可以转化成为1阶马尔可夫链。
离散状态马尔可夫链
直观上，如果马尔可夫链的平稳分布存在，那么以该平稳分布作为初始分布，而向未来随机状态转移，之后的任何一个状态也是平稳状态。
平稳分布的充分必要条件：
\[x_i = \sum_{j}p_{ij}x_j
\]
\[x_i>=0
\]
\[\sum_ix_i=1
\]
马尔可夫链X在时刻t的状态分布，可以由在时刻（t-1）的状态分布，以及转移概率决定：
\[\pi(t) = P\pi(t-1)
\]
\(\pi(t) = P^t\pi(0)\),这里的\(P^t\)称为t步转移概率矩阵。
连续状态马尔可夫链
转移核\(P(x,A)\)定义为：
\[P(x,A) = \int_Ap(x,y)dy
\]
\[P(X_t = A|X_t-1 = x) = P(x,A)
\]
马尔可夫链的额性质
- 不可约
\(P(X_t = i|X_0=j)>0\)
从任意状态出发，当经过充分长的时间后，可以达到任意一个状态。
- 非周期
\({t:P(X_t=i|X_)=i)>0}\text{的最大公约数为1}\)
一个非周期的马尔可夫链，不存在一个状态，从这一个状态出发，再返回这个状态所经历的时间呈现一定的周期性。
- 正常返
\(\lim_{t->+\infty}p_{ij}^t>0\)
一个正常返的马尔可夫链，其中任意一个状态，从其他任何一个状态出发，时间趋于无穷时，首次转移到这个状态的概率不为0
- 遍历定理
不可约的非周期的正常返的马尔可夫链，当时间趋于无穷时，马尔可夫链的状态总会趋于平稳分布
- 可逆马尔可夫链
\(p_{ij}\pi_j = p_{ji}\pi_i\)
可逆的马尔可夫链，无论是面向未来还是面向过去，任意一个时刻的状态分布均是平稳分布。
- 细致平衡方程
\(P\pi = \pi\)
马尔可夫链蒙特卡罗法
基本想法
燃烧期(0~m)
\(\hat{f(x)} = \frac{1}{n-m}\sum_{i=n-m+1}^nf(x_i)\)
基本步骤
step 1:在随机变量\(x\)的状态空间里构造一个满足条件的马尔可夫链，使得其平稳分布为目标分布\(p(x)\)
step 2:从状态空间的某一点\(x_0\)出发，用构造的马尔可夫链进行随机游走，产生样本序列\(x_0,x_1,x_2,..\)
step 3:应用马尔可夫链的遍历定理，确定正整数m和n，得到样本集合\({x_{m+1},...,x_n}\)得到函数的均值\(\hat{f(x)} = \frac{1}{n-m}\sum_{i=n-m+1}^nf(x_i)\)
important questions:
one:如何定义马尔可夫链，保证马尔可夫链蒙特卡罗法的条件成立
two:如何确定m，保证样本的无偏性
three:如何确定n，保证遍历均值的精度
Metropolis-Hastings算法
基本原理
- 马尔可夫链
Metropolis-Hastings算法采用转移核为\(p(x,x^{\prime})\)\[p(x,x^{\prime}) = q(x,x^{\prime})\alpha(x,x^{\prime})
\]
- 建议分布\(q(x,x^{\prime})\)和接受分布\(\alpha(x,x^{\prime})\)
\[\alpha(x,x^{\prime}) = \min\lbrace1, \frac{p(x^{\prime}q(x^{\prime},x))}{p(x)q(x,x^{\prime})}\rbrace
\]
转移核：\[p(x,x^{\prime}) = ??
\]
构造出来了：\[p(x)p(x,x^{\prime}) = p(x^{\prime})p(x^{\prime},x)
\]
- 满条件分布
\[\]
Metropolis-Hastings算法
input:抽样的目标分布的密度函数\(p(x)\),函数\(f(x)\)
output:\(p(x)\)的随机样本\(x_{m+1},..,x_n\)，函数样本的均值
parameters:m，n
单分量Metropolis-Hastings法
Metropolis-Hastings算法需要对多变量分布进行抽样，有时候对多元变量分布的抽样是苦难的，可以对多元变量的每一个变量的条件分布依次进行抽样，这就是单分量Metropolis-Hastings法
吉布斯抽样
基本做法是，从联合概率分布定义满条件概率分布，依次对满条件分布进行抽样，得到样本的序列。
马尔可夫链蒙特卡罗法
标签：独立 hat min 想法 定义 for 期望 math 不可
原文地址：https://www.cnblogs.com/botak/p/13954981.html
