标签：inf   git   处理   分割   技术   pack   ati   return   mis   

1. 读邮件数据集文件，提取邮件本身与标签。

列表

numpy数组

2.邮件预处理

1. 邮件分句
2. 句子分词
3. 大小写，标点符号，去掉过短的单词
4. 词性还原：复数、时态、比较级
5. 连接成字符串

2.1 传统方法来实现

2.2 nltk库的安装与使用

pip install nltk

import nltk

nltk.download()     # sever地址改成 http://www.nltk.org/nltk_data/

或

https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。

将Packages文件夹改名为nltk_data。

或

网盘链接：https://pan.baidu.com/s/1iJGCrz4fW3uYpuquB5jbew    提取码：o5ea

放在用户目录。

----------------------------------

安装完成，通过下述命令可查看nltk版本：

import nltk

print nltk.__doc__

2.1 nltk库 分词

nltk.sent_tokenize(text) #对文本按照句子进行分割

nltk.word_tokenize(sent) #对句子进行分词

2.2 punkt 停用词

from nltk.corpus import stopwords

stops=stopwords.words(‘english‘)

*如果提示需要下载punkt

nltk.download(‘punkt’)

或 下载punkt.zip

https://pan.baidu.com/s/1OwLB0O8fBWkdLx8VJ-9uNQ  密码：mema

复制到对应的失败的目录C:\Users\Administrator\AppData\Roaming\nltk_data\tokenizers并解压。

2.3 NLTK 词性标注

nltk.pos_tag(tokens)

2.4 Lemmatisation（词性还原）

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

lemmatizer.lemmatize(‘leaves‘) #缺省名词

lemmatizer.lemmatize(‘best‘,pos=‘a‘)

lemmatizer.lemmatize(‘made‘,pos=‘v‘)

一般先要分词、词性标注，再按词性做词性还原。

2.5 编写预处理函数

def preprocessing(text):

sms_data.append(preprocessing(line[1])) #对每封邮件做预处理

3. 训练集与测试集

4. 词向量

5. 模型

import csv
import nltk
from mistune import preprocessing
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer

def preprocessing(text):
# 分词
fenge = []
for sent in nltk.sent_tokenize(text):
for word in nltk.word_tokenize(sent):
fenge.append(word)
# 停用词
stops = stopwords.words("english")
tingyong = [i for i in fenge if i not in stops]
# 磁性标注
nltk.pos_tag(tingyong)
# 磁性还原
lemmatizer = WordNetLemmatizer()
huanyuan = []
for i in tingyong:
huanyuan.append(lemmatizer.lemmatize(i, pos=‘v‘))
for i in tingyong:
huanyuan.append(lemmatizer.lemmatize(i, pos=‘a‘))
for i in tingyong:
huanyuan.append(lemmatizer.lemmatize(i, pos=‘n‘))

return huanyuan

file_path=r‘C:\Users\we\Desktop\SMSSpamCollection‘
sms=open(file_path,‘r‘,encoding=‘utf-8‘)
sms_data=[]
sms_label=[]
csv_reader=csv.reader(sms,delimiter=‘\t‘)
for line in csv_reader:
sms_label.append(line[0])
sms_data.append(preprocessing(line[1]))
sms.close()

print("分词标注停用还原后的数据",sms_data[1:10])
print("邮件分类2",sms_label)

朴素贝叶斯垃圾邮件分类

标签：inf   git   处理   分割   技术   pack   ati   return   mis   

原文地址：https://www.cnblogs.com/wujiabin/p/12907012.html