码迷,mamicode.com
首页 > 其他好文 > 详细

sklearn中的朴素贝叶斯模型及其应用

时间:2018-11-26 13:46:34      阅读:235      评论:0      收藏:0      [点我收藏+]

标签:dict   spl   形式   utf-8   inf   red   ict   learn   图片   

1.使用朴素贝叶斯模型对iris数据集进行花分类

尝试使用3种不同类型的朴素贝叶斯:

高斯分布型

多项式型

伯努利型

2.使用sklearn.model_selection.cross_val_score(),对模型进行验证。

 

3. 垃圾邮件分类

数据准备:

  • 用csv读取邮件数据,分解出邮件类别及邮件内容。
  • 对邮件内容进行预处理:去掉长度小于3的词,去掉没有语义的词等

尝试使用nltk库:

pip install nltk

import nltk

nltk.download

不成功:就使用词频统计的处理方法

 

训练集和测试集数据划分

  • from sklearn.model_selection import train_test_split
 1 from sklearn.datasets import load_iris
 2 from sklearn.naive_bayes import GaussianNB
 3 from sklearn.naive_bayes import BernoulliNB
 4 from sklearn.model_selection import cross_val_score
 5 
 6 def Gauss(iris):
 7     #高斯分布预测
 8     gnb = GaussianNB()
 9     pred = gnb.fit(iris.data,iris.target)
10     y_pred = pred.predict(iris.data)
11 
12 
13     print(iris.target)
14     print(y_pred)
15     print(iris.data.shape[0],(iris.target != y_pred).sum())
16 
17 def bernoulli(iris):
18     ‘‘‘伯努利分布预测‘‘‘
19     bnb = BernoulliNB()
20     pred = bnb.fit(iris.data,iris.target)
21     y_pred = pred.predict(iris.data)
22     print(iris.target)
23     print(y_pred)
24     print(iris.data.shape[0],(iris.target != y_pred).sum())
25 
26 def yanzhen(iris):
27     ‘‘‘用交叉验证‘‘‘
28     gnb = GaussianNB()
29     pred = cross_val_score(gnb,iris.data,iris.target,cv=10)
30     print(pred.mean())
31 if __name__ == __main__:
32     iris = load_iris()
33     Gauss(iris)
34     bernoulli(iris)
35     yanzhen(iris)

运行结果:

技术分享图片

 

import csv
file=rd:/SMSSpamCollectionjsn.txt

with open(file,encoding=utf-8) as f:
    sms = f.read()


sms_data=[]#邮件的内容
sms_label=[]#邮件的类别
csv_reader=csv.reader(sms,delimiter=\t)
for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms_data=str(sms_data)#将列表转化为字符串
sms_data=sms_data.lower()#对大小写进行处理
sms_data=sms_data.split()#变成列表的形式
sms_data1=[]#存放处理后的内容
i=0
for i in sms_data:#去掉长度小于3的单词
    if len(i)>4:
        sms_data1.append(i)
        continue

 

sklearn中的朴素贝叶斯模型及其应用

标签:dict   spl   形式   utf-8   inf   red   ict   learn   图片   

原文地址:https://www.cnblogs.com/smallgrass/p/10019445.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!