码迷,mamicode.com
首页 > 其他好文 > 详细

sklearn中的朴素贝叶斯模型及其应用

时间:2018-11-26 13:44:46      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:语义   邮件数据   append   encoding   tar   pam   sum   odi   mode   

1.使用朴素贝叶斯模型对iris数据集进行花分类

尝试使用3种不同类型的朴素贝叶斯:

高斯分布型

多项式型

伯努利型

from sklearn import datasets
iris=datasets.load_iris()

#高斯分布型
from sklearn.naive_bayes import GaussianNB
gnb=GaussianNB()
pred=gnb.fit(iris.data,iris.target)
y_pred=pred.predict(iris.data)

print(‘高斯分布型:‘,iris.data.shape[0],(iris.target!=y_pred).sum())

#伯努利型
from sklearn.naive_bayes import BernoulliNB
bnb=BernoulliNB()
pred=bnb.fit(iris.data,iris.target)
y_pred=pred.predict(iris.data)

print(‘伯努利型:‘,iris.data.shape[0],(iris.target!=y_pred).sum())



#多项式型
from sklearn.naive_bayes import MultinomialNB
mnb=MultinomialNB()
pred=mnb.fit(iris.data,iris.target)
y_pred=pred.predict(iris.data)

print(‘多项式型:‘,iris.data.shape[0],(iris.target!=y_pred).sum())

  技术分享图片

 

2.使用sklearn.model_selection.cross_val_score(),对模型进行验证。

 

from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import cross_val_score
gnb=GaussianNB()
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())
print(scores)


from sklearn.naive_bayes import BernoulliNB
from sklearn.model_selection import cross_val_score
bnb1=BernoulliNB()
scores=cross_val_score(bnb1,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())


from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import cross_val_score
mnb1=MultinomialNB()
scores=cross_val_score(mnb1,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())

  技术分享图片

 

3. 垃圾邮件分类

数据准备:

  • 用csv读取邮件数据,分解出邮件类别及邮件内容。
  • 对邮件内容进行预处理:去掉长度小于3的词,去掉没有语义的词等

尝试使用nltk库:

pip install nltk

import nltk

nltk.download

不成功:就使用词频统计的处理方法

 

import csv
file_path=r‘G:\数据挖掘算法\11.26\SMSSpamCollectionjsn.txt‘
sms=open(file_path,‘r‘,encoding=‘utf-8‘)
sms_data=[]
sms_label=[]
csv_reader=csv.reader(sms,delimiter=‘\t‘)
for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms.close()
print("邮件总数:",len(sms_label))
print(sms_label)
print(sms_data)

  技术分享图片

 

训练集和测试集数据划分

  • from sklearn.model_selection import train_test_split

sklearn中的朴素贝叶斯模型及其应用

标签:语义   邮件数据   append   encoding   tar   pam   sum   odi   mode   

原文地址:https://www.cnblogs.com/ljy28/p/10019470.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!