机器学习入门-贝叶斯拼写纠错实例

import re, collections

# 1. 将数据读入，根据空格, 进行分词操作
def text(words):
    # 使用正则化，如果遇到的不是字母，就断开
    return re.findall(‘[a-z]+‘, words.lower())

# 2.统计列表中每个词的词频
def collection(words):
    # 默认初始的词频次数为1 
    model = collections.defaultdict(lambda :1)
    for word in words:
        model[word] += 1

    return model
# 构造词频字典
Ncollection = collection(text(open(‘big.txt‘, encoding=‘utf-8‘).read()))
# 用于替换和增加
alpha = ‘abcdefghijklmnopqrstuvwxyz‘
#3. 对输入的词进行可能性变化输出，即编辑距离为1， 删除， 调换位置， 替换，增加
def edits1(word):
    n = len(word)
    return set([word[0:i] + word[i+1:] for i in range(n)] +
               [word[0:i] + word[i+1] + word[i] + word[i+2:] for i in range(n-1)] +
               [word[0:i] + c + word[i+1:] for i in range(n) for c in alpha] +
               [word[0:i] + c + word[i:] for i in range(n+1) for c in alpha])
# 4.在第一次变形的基础上进行第二次变化，即编辑距离为2 
def edits2(word):
    return [e2 for e1 in edits1(word) for e2 in edits1(e1)]

# 5.判断词是否在词袋里面，返回存在的列表
def known(words):
    return [word for word in words if word in Ncollection]

# 6. 根据结果判断词频最大的
def correct(word):
    # or的作用，如果满足条件即返回的不是空值就停止，否者继续向下执行
    known_words = known([word]) or known(edits1(word)) or known(edits2(word)) or [word]
    # 求出词典中词频最大的词，该词在known_words里面
    return max(known_words, key=lambda x:Ncollection[x])

print(correct(‘wort‘))