NLP语料库

标签：检查   sort   span   unix   ict   col   rac   语料库   font   

文本语料库是一个大型结构化文本的集合

 NLTK包含了许多语料库：

（1）古滕堡语料库

（2）网络和聊天文本

词汇列表语料库

（2）停用词语料库：nltk.corpus.stopwords.words()
停用词语料库包含一些高频词，在处理时可以从文档中过滤掉，以便区分文本。下面这段代码实现了计算文本中不包含在停用词语料库中的词所占的比例。
import nltk
def content_fraction(text):
    stopwords=nltk.corpus.stopwords.words(‘english‘)
    content=[w for w in text if w.lower() not in stopwords]
    return len(content)*1.0/len(text)
print(content_fraction(nltk.corpus.reuters.words()))

NLP语料库

标签：检查   sort   span   unix   ict   col   rac   语料库   font   

原文地址：https://www.cnblogs.com/nxf-rabbit75/p/9487059.html