码迷,mamicode.com
首页 > 其他好文 > 详细

统计学习总结

时间:2015-01-12 10:40:45      阅读:217      评论:0      收藏:0      [点我收藏+]

标签:

HMM

隐马尔可夫,隐,说明模型里面含有隐含节点,是我们所无法直接观测到的,这些隐含节点上的状态可以称为隐含状态;马尔科夫,说明模型具有马尔科夫性,一个节点的状态只跟它的邻居有关,与其他节点无关,与时间也无关。

我们把节点分为两类,状态节点(隐)和可观察节点(显)。并且假设状态节点为链式结构,每个输出(可观察节点)仅与当前状态有关。

因此我们有两个矩阵$A$和$B$,前者是状态转移概率矩阵$A_{i,j}$表示状态从$i$转移到$j$的概率,后者是生成概率矩阵$B_{i,j}$表示从状态$i$生成到观测值$j$的概率,加上初始状态概率向量$\pi$构成整个HMM模型参数集。

用法:

1)当整个模型的参数已知,给定观察序列$O$,我们可以求出其生成概率:

$$P(O|\lambda)=\sum_Q P(Q|\lambda)P(O|Q)~~~~~~~~~~~~(1)$$

其中$Q$是状态序列,即在所有状态序列下生成该观察序列概率之和。根据马尔科夫假设与两个概率矩阵我们可以计算出$P(Q|\lambda)$和$P(O|Q)$

具体计算方法可以用前向算法(一种动态规划)来计算。若我们有很多HMM模型,可以选择概率最大的那个作为最可能的模型。

2)当整个模型的参数已知,给定观察序列$O$,我们可以求出其对应最大概率的隐含状态序列:

$$Q=\max_Q P(Q|\lambda)P(O|Q)~~~~~~~~~~~~(2)$$

具体可用Viterbi算法(也是一种动态规划算法)计算,内部用了后向指针指明了隐含状态序列的路径,与最短路径算法Dijkstra类似。

广泛用在词性标注以及各种标注,词性序列看做隐含状态序列,找出最可能的标注序列。

3)估计HMM参数。当之给定观察序列,我们要训练出一个HMM模型,评估其参数$A$和$B$。由于HMM是一个生成模型,根据隐含状态生成观察序列,即$P(O|Q)$,这里我们要根据观察序列反推隐含状态,因此用到了贝叶斯公式。

我们的优化目标是使得$P(O|\lambda)$最大,也即最大似然估计。

训练过程为,在初始状态给参数赋随机值,然后在每次迭代,计算在观察序列条件下所有参数的期望值,作为下次迭代的估计值,一直到收敛。这是一个EM算法,具体计算过程可以采用动态规划前向后向算法,最终达到的是一个局部最优解。

 

CRF

条件随机场,是在条件给出的情况下,导出的一个场。条件可以看做是系统的外部环境,全局信息,当系统所处环境给定时,系统状态的分布服从能量函数。比如当温度和体积给定时,系统粒子状态分布是玻尔兹曼分布。

在此,条件即是我们的训练样本集,一系列的观察序列,场由隐含状态节点构成,隐含状态节点的结构为一无向马尔科夫链,每个状态节点只与它相邻的两个节点有联系,并受全局信息观察序列$X$的影响。

所有能量模型都要给出能量的定义,该模型中能量定义基于的最小粒度是最大团,这个最大团的成员为$\{X,y_i,y_{i+1}\}$,其中$y_i$是第$i$个隐含节点的状态。因此我们能量函数的定义格式便为

$$E_i=E(y_i,y_{i+1},X,i)$$

该系统处于状态$Y$的概率为

$$P(Y|X)=\frac{e^{\sum_i E(y_i,y_{i+1},X,i)}}{Z}$$

更细化来说,我们每个最大团的总能量函数可以分为多个子能量,这多个子能量以一定的权重累加得到最终总能量。这好比一个粒子的总能量可以分为动能、势能、内能三个子能量的累加。

$$E_i=\sum_k \lambda_k e_k(y_i,y_{i+1},X,i)$$

方便起见,更简单的,我们可以定义子能量函数$e_k$为二值函数,满足条件为1,否则为0。在给定子能量函数(或者称作特征函数)前提下,模型的参数为$\{\lambda_i\}$。

模型的训练过程。

训练前人工定义好子能量函数,训练的每个样本形如$X,Y$,即观察序列和隐含序列已经给定。初始时随机化参数,然后对每个样本可以计算出其概率值,整个样本空间的概率为所有样本概率的连乘。可以用最大似然log-likehood进行参数估计。

模型训练好后,给定$X$,求出最可能的$Y$,可以用Viterbi算法。

使用场景为词性标注,实体识别。

 

SVD

奇异值分解。把原始矩阵$R$分解为如下形式$R=U^TSV$,其中$S$是对角阵,对角线上从大到小排列的是奇异值,代表该对应特征的权重。$U$的每一列对应原始矩阵行实体的特征向量,$V$的每一列对应原始矩阵列实体的特征向量。

把对角阵保留其前$k$个特征,其它置0,重新得到一个近似矩阵$R_f$,可以做预测用。

使用场景。

1)数据压缩,保留其主要特征的$R_f$为降维后的原始矩阵$R$的近似表示。

2)打分预测,假设原始矩阵的$R_{ij}$表示第$i$个用户对第$j$个东西的打分,那么$R_f$重对应的值便是预测的结果。

3)聚类。分解并降维后的$U$和$V$两个矩阵保存了对应实体的特征向量,这些特征向量具有相同的维度$k$,我们可以用来聚类,比如找到相似用户,找到跟用户相关度最近的几个物品。如果有一个新用户,我们有他的评分向量,根据一定的公式我们可以得到这个新用户的特征向量。query检索,对用户的query生成k维特征向量,对所有文档计算余弦值得到最相似的文档。

4)主题抽取。假设原始矩阵表示文档和词汇,分解并降维后,每个文档对应一个$k$维的特征向量,每个词语同样如此。特征向量的每一个维度可以看做一个主题。(直觉想的不一定对)

 

PLSA

潜在概率语义分析。潜在,说明主题是隐含状态,不可直接观察到,语义分析是用主题来表示语义。是一个生成模型,生成模型是,根据该模型可以计算出可观察样本的生成概率,然后利用最大似然估计反推模型的参数,所以生成模型有一个生成流程。

样本集有多个文档构成,文档由多个字构成。然后再文档和词语之间,我们假设出一层主题层来,我们假设文档是由主题构成的,我们固定主题个数为k,那么每个文档对应一个主题分布,这个主题是固定的,但是未知的;然后假设一个主题装了好多单词,每个主题对应一个单词的概率分布,这个分布也是固定的,但是未知的。由此我们便有了连个矩阵$A$和$B$,$A_{ij}=P(z_j|d_i)$表示第i个文档中主题j出现的概率,$B_{ij}=P(w_j|z_i)$表示第i个主题中单词j出现的概率。这两个矩阵便是模型的参数。

我们的语料库被生成的流程是这样滴,首先,以$P(d_i)=\frac{count(d_i)}{|all~word|}$的概率选出一个文档,这个概率是已知的可统计出来;然后根据$P(z_j|d_i)$概率选择一个主题$z_j$,这个概率对应A矩阵,是需要估计的;最后根据$P(w_j|z_i)$概率生成一个单词$w_j$,这个概率对应B矩阵是需要估计的。

那么,一个文档$d_i$被生成的概率便为文档中所有单词生成概率的连乘:

$$P(W|d_i)=\prod_j P(w_j|d_i)$$

整个语料的生成概率为
$$P(W|D)=\prod_i P(W|d_i)P(d_i)$$

最大化这个概率即可。

根据生成流程,P(w_j|d_i)可以通过对所有路径$d_i\rightarrow z_k \rightarrow w_j$的概率求和得到

$$P(w_j|d_i)=\sum_k P(z_k|d_i)P(w_j|z_k)$$

训练方法采用EM法,首先随机初始化参数,然后根据条件求出各参数的期望作为下次迭代的估值。参数的期望是一句可观测的$d_i$和$w_j$反推得到的,所以用到了贝叶斯公式。具体的思想是该条路径的概率$d_i\rightarrow z_k \rightarrow w_j$占所有路径概率总和的比例。

使用场景。当模型训练好后,预料中的所有文档都有一个对应的主题向量,可以用来文档聚类,另外,对于每一个单词,我们也可以得到对应的主题向量可以用作基于语义的query检索。即可以依据主题计算文档相似性和词语相似性。

那么,当来了一个新的文档时,我们怎么计算它的主题分布呢,我的想法是,把它里面所有词语的主题向量加和求平均即可。

 

LDA

潜在Dirichlet分布主题语义分析。与PLSA模型非常类似,也是通过主题生成文档。不同的是,PLSA假设每个文档必对应一个固定的主题分布,每个主题必对应一个固定的词语分布,这有点类似于经典概率论,概率是先天存在好的,只是等着我们测量而已。LDA并不这样假设,两者的分布并不是固定的,其分布是通过更高层的分布生成机制来生成的,只有当你测量时,它才坍缩成一个具体的分布,当你不测量时,它的具体分布是不定的,有点类似于量子概率,处在一个量子状态中,这个量子状态在被测量时会以一定的概率生成可观测的值,这个值在这里就是一个具体的分布。这个“一定的概率”表明了生成分布的倾向,对应Dirichlet分布中的参数$\alpha$和$\beta$,是模型的超参数,根据经验指定。相比于PLSA每个文档都有一个主题分布的向量参数,LDA的参数会非常少,只有$\alpha$和$\beta$两个参数,是两个向量,这个参数表征了训练样本集的"量子态"。

生成语料库的具体流程为:1)根据参数$\beta$生成每个主题的词语分布。2)对每个文档,根据参数$\alpha$生成该文档的主题分布。3)根据第二步的主题分布生成一个主题。4)根据生成的主题和在第一步生成的该主题对应的词语分布,生成一个单词。

训练过程采用gibbs采样。固定所有参数以及状态,然后可以计算出给定词语对应主题的概率,然后根据这概率以轮盘法采样一个主题更新这个词语的主题,直到算法收敛。训练后会求得类似PLSA的两个分布矩阵,用法参考PLSA。

 

【待续】

参考文献:

http://blog.csdn.net/likelet/article/details/7056068

http://wenku.baidu.com/link?url=L1IdMbJ5lxL2z4JkxBWdJ2LFBCiziiKwohx-QYjmmfqpoeupyfjvpGFwBsLM_2BhneRUV2NZdRngKE0bGpFqvj3RhQI8hM1fUwlIxoo4f_q&pn=51

http://wenku.baidu.com/link?url=STqFlBAJFstKUMCffWyhVvMzvnVXKQ_yePhPi3JkwtwC2Pol3knpfMUhTSGkvt0ZrD9BkrqRZA-GmR1XKMTZeda4loogiQ_RUUONgoSBnKW

http://blog.csdn.net/wuyanyi/article/details/7964883

http://blog.csdn.net/sunmenggmail/article/details/8566275

http://blog.csdn.net/v_july_v/article/details/41209515

http://www.shellsec.com/tech/158684.html

http://vdisk.weibo.com/s/aR2Sk3ifABoZM

统计学习总结

标签:

原文地址:http://www.cnblogs.com/wuseguang/p/4214849.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!