码迷,mamicode.com
首页 > 编程语言 > 详细

NLP | 自然语言处理 - 标注问题与隐马尔科夫模型(Tagging Problems, and Hidden Markov Models)

时间:2016-01-22 14:09:00      阅读:198      评论:0      收藏:0      [点我收藏+]

标签:

什么是标注?

在自然语言处理中有一个常见的任务,即标注。常见的有:1)词性标注(Part-Of-Speech Tagging),将句子中的每一个词标注词性,比如名词、动词等;2)实体标注(Name Entity Tagging),将句子中的特殊词标注,比如地址、日期、人物姓名等。

下图所看到的的是词性标注的案例,当输入一个句子时,计算机自己主动标注出每一个词的词性。

技术分享

下图所看到的的是实体标注的案例,当输入一个句子时,计算机自己主动标注出特殊词的实体类别。
技术分享

粗略看来。这并非一个简单问题。首先每一个词都可能有多个含义,不同情况表达不同含义。其次,一个词的含义或者词性也受到前后多个词的影响。

标注问题的数学表达

在找到解决方式之前,我们最好先用数学的语言来描写叙述一下这个问题。

当我们得到一个句子时,我们能够把它看做一个向量。令句子s有共计n个单词,第i个单词用xi来表示,显然s = x1, x2, ... xn。因此问题能够描写叙述成。对于每一个单词xi,我们须要分别给定一个标注yi,因而获得句子的标注y = y1, y2, ... yn。


综上所述,训练模型时我们期望对于不论什么一个句子s,我们须要得到全部可能出现的标注的概率p(y | s),当中概率最大的y即是我们须要的结果。终于的表达式为tagging(s)= arg max(p(y|s))。


接下来。我们须要考虑怎样建立训练集并从中学习出上述的模型。首先,我须要获得一个已经标注好的语料库。语料库中有若干句子。每一个句子中的每一个词都已有标识。

然后,对于语料库中出现的全部的句子s与相应的标识y,我们能够学习出条件概率p(y, s)。即某个句子与其相应标识的出现概率。其次,因为语料库无法包括全部可能出现的句子,所以我们希望能够得到一个更加宽泛的表达式,通过贝叶斯公式,我们能够很看出p(y, s) = p(y) * p(s | y),同一时候p(y | s) = p(y) * p(s | y) / p(s);我们须要比較的是p(y | s)中的最大值而无需获得p(y | s)。因此显然p(s)的详细取值并不重要。因此我们仅仅须要考虑tagging(s)= arg max(p(y) * p(s | y))。


因为语料库无法保存全部客观存在的句子。我们必须找到一种方法来预计p(y)与p(s | y)的取值,而当中一种很有名的方法就是隐马尔科夫模型。

隐马尔科夫模型

我们依旧回到上述问题,给定一个句子s = x1, x2, ... xn,我们给出一个标识组合y = y1, y2, ... yn,使得y = arg max(p(y) * p(s | y)) = arg max(p(x1, x2, ... , xn, y1, y2, ..., yn))。


依据上一章《语言模型》所提到的。我们依旧对每一个句子做一点优化:
1)添加一个開始符号”*“。我们定义全部句子都是以”*“開始。即X-1 = X0 = *;
2)添加一个结束符号”STOP“,我们定义全部句子都是以”STOP“结束。


同一时候,隐马尔科夫模型须要我们做一些额外的如果来简化模型:
1)yk仅仅与前几个元素相关,即标识的语义相关性仅仅影响前后几个元素;
2)单词xk与相应的yk不受其它单词的影响,即p(xi | yi)相互独立.

经过简化以后。我们以三阶隐马尔科夫模型为例,表达式为 p(y1, y2, … yn | x1, x2, … xn) = p(y1, y2, … yn) * p(x1, x2, … xn | y1, y2, … yn) = ∏q(yj | yj-2, yj-1) * ∏ e(xi | yi)。显然,简化后的模型,单个单词在语料库中出现的频率会远远高于句子总体出现的频率。

參数估算

有了隐马尔科夫模型之后。我们须要做的就仅仅是估算參数q(yj | yj-2, yj-1)e(xi | yi)q(yj | yj-2, yj-1)在上一章《语言模型》中有具体的解释,而e(xi | yi)通过统计每一个单词在语料库中的出现情况能够轻松获得。然而有一种特殊情况,某些单词假设在语料库中没有出现,那么e(xi | yi) = 0将导致总体句子的出现概率为0。为了解决问题,我们能够採用一个简单的解决方式:
1)首先将语料库中全部的单词分为频繁词与非频繁词(通过一个阈值来确定);
2)频繁词的e(xi | yi)将直接从语料库中统计得出。
3)非频繁词的通过预定的规则划分到多个群组中。通过统计群组的词频来确定e(xi | yi)。

比如,常见的分组方法例如以下图所看到的。这样的方式对于日期、姓名、缩写等特殊词的效果非常好。
技术分享

算法的复杂度

如果我们已经训练得到q(yj | yj-2, yj-1)e(xi | yi),给定一个句子s = x1, x2, ... xn,我们应当怎样得到标注y = y1, y2, ... yn。

方法1: 暴力方法。遍历全部可能出现的y1, y2, ... yn组合,计算概率并找出概率最大的值。显然,暴力方法的时间复杂度不会令人惬意。
方法2:动态规划,定义一个动态规划表达式m(k, u, v),k表示句子的第k位,u,v表示前k为组成的子句的最后两个单词的标识。因此。递归方程能够表述为m(k, u, v) = max(m(k-1, w, u) * q(v | w, u) * e( x | v))。关于动态规划方法,leetcode里有不少案例能够说明。


NLP | 自然语言处理 - 标注问题与隐马尔科夫模型(Tagging Problems, and Hidden Markov Models)

标签:

原文地址:http://www.cnblogs.com/yxwkf/p/5150860.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!