标签：ken   停用   邮件数据   学习   image   csv   去掉   import   tle   

1. 读邮件数据集文件，提取邮件本身与标签。

列表

numpy数组

2.邮件预处理

1. 邮件分句
2. 句子分词
3. 大小写，标点符号，去掉过短的单词
4. 词性还原：复数、时态、比较级
5. 连接成字符串

2.1 传统方法来实现

2.2 nltk库的安装与使用

pip install nltk

import nltk

nltk.download()     # sever地址改成 http://www.nltk.org/nltk_data/

或

https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。

将Packages文件夹改名为nltk_data。

或

网盘链接：https://pan.baidu.com/s/1iJGCrz4fW3uYpuquB5jbew    提取码：o5ea

放在用户目录。

----------------------------------

安装完成，通过下述命令可查看nltk版本：

import nltk

print nltk.__doc__

2.1 nltk库 分词

nltk.sent_tokenize(text) #对文本按照句子进行分割

nltk.word_tokenize(sent) #对句子进行分词

2.2 punkt 停用词

from nltk.corpus import stopwords

stops=stopwords.words(‘english‘)

*如果提示需要下载punkt

nltk.download(‘punkt’)

或 下载punkt.zip

https://pan.baidu.com/s/1OwLB0O8fBWkdLx8VJ-9uNQ  密码：mema

复制到对应的失败的目录C:\Users\Administrator\AppData\Roaming\nltk_data\tokenizers并解压。

2.3 NLTK 词性标注

nltk.pos_tag(tokens)

2.4 Lemmatisation（词性还原）

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

lemmatizer.lemmatize(‘leaves‘) #缺省名词

lemmatizer.lemmatize(‘best‘,pos=‘a‘)

lemmatizer.lemmatize(‘made‘,pos=‘v‘)

一般先要分词、词性标注，再按词性做词性还原。

2.5 编写预处理函数

def preprocessing(text):

sms_data.append(preprocessing(line[1])) #对每封邮件做预处理

 代码：

import csv
import nltk
from nltk.corpus import stopwords   # 停用词
from nltk.stem import WordNetLemmatizer # 词性

sms = open(r‘D:\机器学习\12垃圾邮件分类\SMSSpamCollection‘,‘r‘,encoding = ‘utf-8‘)    # 读取文件
sms_label = []  # 标签
sms_data = []   # 数据
csv_reader = csv.reader(sms, delimiter = ‘\t‘)

#编写预处理函数
def processing(text):
    tokens = [word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)]   # 分句再分词
    stops = stopwords.words("english")  # 停用词类型为英文
    tokens = [token for token in tokens if token not in stops]  # 保留非停用词
    tokens = [token.lower() for token in tokens]    # 大写转小写
    tokens = [token for token in tokens if len(token) >= 3]   # 去掉长度短于3的词
    nltk.pos_tag(tokens)    # 标注单词词性
    lemmatizer = WordNetLemmatizer()    # 词性还原
    tokens = [lemmatizer.lemmatize(token, pos=‘n‘) for token in tokens]  # 名词还原
    tokens = [lemmatizer.lemmatize(token, pos=‘a‘) for token in tokens]  # 形容词还原
    tokens = [lemmatizer.lemmatize(token, pos=‘v‘) for token in tokens]  # 动词还原
    return tokens

for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(processing(line[1]))
sms.close()

print(sms_label)
print(sms_data)

3. 训练集与测试集

4. 词向量

5. 模型

12.朴素贝叶斯-垃圾邮件分类

标签：ken   停用   邮件数据   学习   image   csv   去掉   import   tle   

原文地址：https://www.cnblogs.com/chenjd/p/12910004.html