码迷,mamicode.com
首页 > 其他好文 > 详细

[学习记录]sklearn贝叶斯及SVM文本分类

时间:2018-07-13 22:20:25      阅读:348      评论:0      收藏:0      [点我收藏+]

标签:支持向量机   信息   获取数据   mes   时间   width   module   svm   调整   

贝叶斯分类首先准备好数据材料

技术分享图片

 第一次获取20newsgroups时会花费数分钟时间来获取数据,通过获得target_names可以查看其中的类型。

为了进行分类,采用词袋模型的方法,即统计每篇新闻的单词,不考虑单词间的联系,仅仅考虑它们出现的频率。

技术分享图片

11314代表有11314篇文章,130107意思为词典中一共有130107个单词,这11314篇文章中所有的单词都来自于此。

我们可以获得列表中每个对象(文章),并通过一些属性获得我们想要的信息

技术分享图片

接下来进行贝叶斯分类,这里采用MultinomialNB

模型训练完成后对照测试集检查效果

技术分享图片

对于这个模型的改进,可以有以下几种方法

1.词频反转,不过看起来不太明显

技术分享图片

2.去除停用词

一下子提高3个百分点

技术分享图片

最后是支持向量机

可以通过修改参数进行调整模型,参考http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html

技术分享图片

 

[学习记录]sklearn贝叶斯及SVM文本分类

标签:支持向量机   信息   获取数据   mes   时间   width   module   svm   调整   

原文地址:https://www.cnblogs.com/trickofjoker/p/9306851.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!