Noisy Channel模型纠正单词拼写错误

时间：2017-12-09 19:32:08 阅读：207 评论：0 收藏：0 [点我收藏+]

本文介绍 Stanford《From Languages to Information》课程中讲到的单词拼写错误纠正。背后的数学原理主要是贝叶斯公式。单词拼写错误纠正主要涉及到两个模型：一个是Nosiy Channel模型，它是贝叶斯公式中的似然函数；另一个模型是Language Model，它是贝叶斯公式中的先验概率。

一，问题描述

在这句话中“. . . was called a “stellar and versatile acress whose combination of sass and glamour has defined her. . .”，有一个错误的单词：acress

这个错误单词 acress 对应的正确单词是哪个呢？是 actress？还是cress？还是 caress？……

二，出现单词拼写错误的情形

一种是 Non-word spelling errors，它是指：错误的单词不存在于词典中。也就说，你键盘输入了一个单词，而这个单词根本没有被英文词典收录，在字典中查不到。比如你将正确的单词graffe，多打了一个字符 i ，变成了 giraffe，而英文字典中根本没有 giraffe这个单词。

另一种是 real-word errors，比如：想输入 there are，结果输入成了 three are。而错误单词 three 是存在于字典中的，关键问题是：怎么知道将 three 改成 there 呢？

三，单词拼写错误的纠正步骤

①首先检测出是哪个单词发生了拼写错误。

这可以通过查字典来实现，比如依次扫描每个单词，若该单词不在词典中(未被词典收录)，则认为它是一个拼写错误的单词。显然，词典越大，词典收录的单词越多，我们就越能正确检测出错误的单词。

②其次，是要从一组候选的 正确单词中，选择一个“最准确”的单词，而这个“最准确”的单词，就是要找的结果（错误单词对应的正确单词）。

这里有个问题就是：如何找出一组候选的正确单词呢？这就需要根据实际情况进行分析了。以上面提到的错误单词 acress 为例：

本来想输入“across”，但是一不小心将 ‘o‘，输入成了‘e‘，结果变成了 "acress"，这是substition 操作：将 ‘o‘ 替换成了 ‘e‘

本来想输入 "actress"，但是打字太快，漏打了 ‘t‘，结果变成了"acress"，这是deletion操作：删除了 ‘t‘

.....

或者说：键盘上字符‘m‘ 和 ‘n‘ 很近，打字时，很容易将 ‘m‘替换成了‘n‘；又或者说：‘m‘ 和 ‘n‘发音相似，也导致经常将 ‘m‘ 替换成 ‘n‘

而寻找一组候选单词，就可以通过“编辑距离算法”来实现。关于编辑距离，可参考“Damerau-Levenshtein Edit Distance”或者：最短编辑距离算法实现

四，贝叶斯推断纠正单词拼写错误

①Noisy Channel Model

Noisy Channel Model的示意图如下：

技术分享图片

原来的一个正确的单词：经过 noisy channel ，结果变成了一个 noisy word。而这个noisy channel，其实就是前面讲的“两个词发音相近，容易拼错它们"，或者"两个字符在键盘上相邻，输入时就会错误地将一个词输入成了(type) 另一个词。(其实niosy channel就是对现实世界存在的问题的一个建模)

而要想得出错误单词(noisy word) 对应的正确单词，就需要用到贝叶斯推断。具体原理如下：

既然 noisy word (或者说错误单词，记为 x )已经出现了，那么我们在词典中找一个单词w，在 x 已经出现的条件下，最有可能是由哪个单词w 造成的？

We see an observation x (a misspelled word) and our job is to find the word w that generated this misspelled word
Out of all possible words in the vocabulary V we want to find the
word w such that P(w|x) is highest. We use the hat notation ? to mean “our estimate
of the correct word”.

用公式（1）表示如下：

技术分享图片（公式1）

V是词典(Vocabulary)，p(w|x)表示：从V中选出一个w，计算概率 P(w|x)，概率最大的那个 w，就是错误单词x 对应的正确单词，将该正确单词记为: w?

根据贝叶斯公式法则（公式2）：

技术分享图片

将公式（1）变成如下形式：

技术分享图片（公式3）

从公式3 可以看出：就是对于词典V 中的每个单词w，计算 [p(x|w)*p(w)]/p(x)，找出 计算结果最大(概率最大) 的那个 w，该 w 就是最优解 w?

而在这个计算过程中，可以不需要计算分母p(x)，因为这不影响我们找出概率最大的那个 w 。因此将 p(x) 视为一个常量值。（这里关于贝叶斯的理解，可参考后面给出的参考文献）

于是我们的公式就变成了：

技术分享图片（公式4）

可以看出，公式4 由两部分组成，一部分是 p(x|w)，我们称之为 channel model 或者称为 error model，它就是似然函数

另一部分是 p(w) 我们称之为先验概率(prior)。

另外，值得一提的是这个Vocabulary V，由于Vocabulary中单词个数是很多的，只有在发生某种”条件“的情况下，一个单词才会被误拼写成了另一个单词。换句话说，Vocabulary中的某些词与错误单词 x 之间是”八杆子打不着“的关系，因此我们只在某些Candidate words 中寻找 [p(x|w)*p(w)] 的那个 w

而这些Candidate words 就是由前面提到的”编辑距离算法“生成。因此，公式可继续变成(注意 argmax 的下标的变化。V变成了C，而C就是 Candidate words的集合)

技术分享图片

因此，现在的问题变成了：如何求出channel model 和 prior呢？

首先介绍下先验概率p(w)的求解(Prior)

我们使用 unigram language model 来作为 p(w)。这里解释一下 unigram language model：

选择一个语料库（词库），这个语料库里面总共有 404253213个单词，然后”编辑距离“算法根据错误的单词 acress 生成了一系列的候选词（Candidate words），每一个候选词在语料库中出现的次数count(candidate word) 除以 404253213 就是每个Candidate word的先验概率。如下图所示，第一列是错误单词acress的候选词，第二列是这些候选词在语料库中出现的次数，第三列是这些候选词在语料库中出现的概率（频率）

技术分享图片

For this example let’s start in the following table by assuming a unigram language model. We computed the language model from the
404,253,213 words in the Corpus of Contemporary English (COCA).

接下来是求解 channel model

个人理解就是：求解channel model需要用到日常生活中用到的知识经验，或者行业应用中累积下来的数据（经验）。

从公式：p(x|w)理解上来看，给定一个正确的候选单词 w 的条件下，导致错误单词x 的概率有多大？

如果我们收集了足够多的数据，比如观察了很多用户一共输入了（打字）1万次 w，其中有10次输入成了x（打字打成了 x），那么 p(x|w)=0.0001

我们考虑四种出错情况：

技术分享图片