码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习入门-贝叶斯拼写纠错实例

时间:2019-01-18 19:56:35      阅读:424      评论:0      收藏:0      [点我收藏+]

标签:style   增加   一个   统计   判断   提取   词语   dict   词典   

问题

    如果我们看到用户输入一个不在字典中的词,我们需要推测他实际想要输入的词

使用贝叶斯公式表示:

                   p(实际想要输入词|用户输入) = p(实际想要输入词) * p(用户输入|实际想要输入词)  / p(用户输入)

p(实际输入词) 表示的是这个词在语料库中出现的词频

p(用户输入|实际想要输入) 实际想要输入的词被输成用户输入的概率,即实际输入词与用户输入的编辑距离

D表示用户实际输入的词,h表示用户实际想要输入的词

p(h|D) = p(D|h) * p(h) / p(D)

我们通过比较p(h1|D), p(h2|D)... 哪个概率最大,就是哪个h,即用户实际想要输入的词

由于p(D) 都是相同的,所以我们不进行考虑

p(h)表示一个先验概率,即词频里面这个词的词频或者tf-dif 表示的是词频/log(所有的文章/出现这个词的文章的次数+1)

代码:

第一步:对输入的语料数据进行分词操作

第二步: 使用collections,构建字典的词的词频

第三步: 对输入的单词,进行可能性的变形

第四步: 对输入的单词,进行可能性的二次变形

第五步: 构建known函数,判断当前词是否在词典中

第六步: 提取出在字典中,词频最大的词语(分阶段性的判断)

import re, collections

# 1. 将数据读入,根据空格, 进行分词操作
def text(words):
    # 使用正则化,如果遇到的不是字母,就断开
    return re.findall([a-z]+, words.lower())

# 2.统计列表中每个词的词频
def collection(words):
    # 默认初始的词频次数为1 
    model = collections.defaultdict(lambda :1)
    for word in words:
        model[word] += 1

    return model
# 构造词频字典
Ncollection = collection(text(open(big.txt, encoding=utf-8).read()))
# 用于替换和增加
alpha = abcdefghijklmnopqrstuvwxyz
#3. 对输入的词进行可能性变化输出,即编辑距离为1, 删除, 调换位置, 替换,增加
def edits1(word):
    n = len(word)
    return set([word[0:i] + word[i+1:] for i in range(n)] +
               [word[0:i] + word[i+1] + word[i] + word[i+2:] for i in range(n-1)] +
               [word[0:i] + c + word[i+1:] for i in range(n) for c in alpha] +
               [word[0:i] + c + word[i:] for i in range(n+1) for c in alpha])
# 4.在第一次变形的基础上进行第二次变化,即编辑距离为2 
def edits2(word):
    return [e2 for e1 in edits1(word) for e2 in edits1(e1)]

# 5.判断词是否在词袋里面,返回存在的列表
def known(words):
    return [word for word in words if word in Ncollection]

# 6. 根据结果判断词频最大的
def correct(word):
    # or的作用,如果满足条件即返回的不是空值就停止,否者继续向下执行
    known_words = known([word]) or known(edits1(word)) or known(edits2(word)) or [word]
    # 求出词典中词频最大的词,该词在known_words里面
    return max(known_words, key=lambda x:Ncollection[x])

print(correct(wort))

 

机器学习入门-贝叶斯拼写纠错实例

标签:style   增加   一个   统计   判断   提取   词语   dict   词典   

原文地址:https://www.cnblogs.com/my-love-is-python/p/10289037.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!