标签：相加 加法 标记 网上 乘法 保存 cab 表达 pen
文章中代码均来自于《机器学习实战》
这个程序没有邮件的文件的话是不能运行的，要是想试试可以去网上搞搞文件
'''
Created on Oct 19, 2010
@author: Peter
'''
#和其他复杂模型不一样，朴素贝叶斯的思想和操作比较简单，它一般是内嵌在处理具体问题的函数中的，而不像神经网络模型或者决策树等等有自己独立的方法
from numpy import *
def createVocabList(dataSet):
#将data中出现的所有词放在一个列表中
vocabSet = set([]) #create empty set
for document in dataSet:
vocabSet = vocabSet | set(document) #union of the two sets，也就是并集
return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
#返回训练集中的哪些词在这个样本中出现了
#vocabList是词库，inputSet是输入的该条样本
returnVec = [0]*len(vocabList)#创建一个所含元素都为0的向量
for word in inputSet:
if word in vocabList:#判断是不是输入的样本中的所有词都训练过
returnVec[vocabList.index(word)] = 1#出现了
else: print("the word: %s is not in my Vocabulary!" % word)
return returnVec
def trainNB0(trainMatrix,trainCategory):#朴素贝叶斯分类器训练函数
#接受的输入（trainMatrix)是用词袋或者词集处理后的01数组,不能直接传源数据过来啊
#trainMatrix是训练集data，trainCategory是训练集样本的labels
numTrainDocs = len(trainMatrix)#训练集样本个数
numWords = len(trainMatrix[0])#训练集中单词一共有多少个
pAbusive = sum(trainCategory)/float(numTrainDocs)#返回的结果是“训练集中样本有多少百分比是侮辱性文档”,即P(ci)
#初始化概率的分子变量
p0Num = ones(numWords)
p1Num = ones(numWords)
#初始化概率的分母变量
p0Denom = 2.0; p1Denom = 2.0
#遍历所有data
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]#p1Num统计总体中的哪些词出现在了被标记为侮辱性的文档中，它不是一个数，而是一个向量，是侮辱性文档中字符出现的叠加
#例如[0,1,2,0],0表示这个词从来没有在侮辱性文档中出现过，而1,2,3分别表示他们出现了1次、2、3次
p1Denom += sum(trainMatrix[i])#侮辱性文档的总词数
else:
p0Num += trainMatrix[i]#同上，只不过这次操作的是非侮辱性的那些
p0Denom += sum(trainMatrix[i])
#对每个元素做除法求概率
p1Vect = log(p1Num/p1Denom) #change to log()，原本的朴素贝叶斯模型中这里应该是不带log的，它表示的是P(w|ci),这里是改进后的模型
#注意，p1Vect是一个数组，每个元素表示已知是侮辱性文档的前提下这个词出现的概率，就是P(wj|ci)
p0Vect = log(p0Num/p0Denom) #change to log()
return p0Vect,p1Vect,pAbusive#返回P(w|ci)和P(ci)
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify * p1Vec) + log(pClass1) #p1是判断为侮辱性文档的概率，即P(Ci)=P(Ci|w)P(w)
#按元素相乘再相加，为什么是加上log(pClass1),不应该是P(w|ci)*P(ci)吗，因为这里我们改进了，都把他们做了log变换，所以原来的乘法自然也变成加法了
"""
1. 为什么要改进成log:
小数连乘会造成所得值几乎等于 0 的结果，从而无法比较大小。鉴于此，往往在实际运算中，会借助 log 函数
因为概率处于[0,1]区间，由log的函数图像可知，这样改造之后不会改变增减性，但是会起到特征放大的作用
2.为什么没计算P（w):
贝叶斯式子的那个分母在比较的时候根本不需要，就不算了
"""
"""
*(星号)运算的作用
对数组执行对应位置相乘
对矩阵执行矩阵乘法运算
"""
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
else:
print("the word: %s is not in my Vocabulary!" % word)
return returnVec
def textParse(bigString): #input is big string, #output is word list
import re#re包：正则表达式的支持
listOfTokens = re.split('\\W+',bigString)
#print(listOfTokens)
"""
这个函数和书上的不太一样，改了正则表达式，具体的可以看这个：
https://www.cnblogs.com/jiading/p/11632618.html
"""
return [tok.lower() for tok in listOfTokens if len(tok) > 2] #返回一个处理后的数组
def spamTest():
docList=[]; classList = []; fullText =[]
for i in range(1,26):
#注意这里面有些文档是EASCII码格式的，直接读会报错，需要先把他们的格式改了。
#可以先print(i)看看是卡在哪个文件上了，然后将其改为ASCII格式
openTextParse=open('email/spam/%d.txt' % i,encoding='ascii')
readTextParse=openTextParse.read()#读取一行文件
#print(i,'-readTextParsead:',readTextParse)
#print(i,'-readTextParse\'s type:',type(readTextParse))
wordList = textParse(readTextParse)#送到textParse进行处理，将读入的字符串切割为字符数组
#print(i,'-wordList:',wordList)
docList.append(wordList)#保存这条记录
fullText.extend(wordList)#在总词库中加上这条记录的词
#注意上面这个命令，它和下面创建的vocabList的区别就是它是不去重的！
classList.append(1)#保存label，这是spam
openText=open('email/ham/%d.txt' % i,encoding='ascii')
#print(i)
wordList = openText.read()
docList.append(wordList)
fullText.extend(wordList)
classList.append(0)#这是ham
vocabList = createVocabList(docList)#create vocabulary
trainingSet = list(range(50)); testSet=[] #create test set
"""
这里不能再用原来的trainingSet=range(50)了
原因：python3.x range返回的是range对象，不返回数组对象
trainingSet里面是数组，元素是0-49
"""
for i in range(10):#随意选10个作为测试集
randIndex = int(random.uniform(0,len(trainingSet)))#随便选一个
#print(i,':',randIndex)
testSet.append(trainingSet[randIndex])
del(trainingSet[randIndex]) #就是把那个作为index的数删掉，不动源数据，这是很重要的，别随随便便改源数据
trainMat=[]; trainClasses = []
for docIndex in trainingSet:#train the classifier (get probs) trainNB0
trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))#把词袋模型的结果（01数组）传进去
trainClasses.append(classList[docIndex])#传入label
p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
errorCount = 0
for docIndex in testSet: #算算有没有归类错误的
wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
errorCount += 1
print("classification error",docList[docIndex])
print('the error rate is: ',float(errorCount)/len(testSet))
#return vocabList,fullText标签：相加 加法 标记 网上 乘法 保存 cab 表达 pen
原文地址：https://www.cnblogs.com/jiading/p/11632737.html
