1.词性标注器 parts-of-speech 或 POS tagger nltk自带英文标注器 import nltk text = nltk.word_tokenize("And now for something completely different")#list print(nltk.p ...
分类：
其他好文 时间：
2018-08-24 14:56:34
阅读次数：
236
文本语料库是一个大型结构化文本的集合 NLTK包含了许多语料库： （1）古滕堡语料库 （2）网络和聊天文本（3）布朗语料库（4）路透社语料库（5）就职演讲语料库（6）标注文本语料库 词汇列表语料库 （1）词汇列表：nltk.corpus.words.words()词汇语料库是Unix 中的/usr/ ...
分类：
其他好文 时间：
2018-08-16 14:57:09
阅读次数：
1375
主题模型理论（LDA）：一篇文章的每个词都是以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语而组成的。P（单词|文档）=P（单词|主题）*P（主题|文档）对于语料库中的每篇文档，LDA定义了如下生成过程（generativeprocess）:1.对每篇文档，从主题分布中抽取一个主题；2.从上述被抽到的主题所对应的单词分布中抽取一个单词；3.重复上述过程直至文档中的每一个单词。w代表单
分类：
编程语言 时间：
2018-08-14 11:25:42
阅读次数：
276
Walking byte flips: 这一方法的自然扩展是步行位翻转方法，该方法依赖于8、16或32位的宽位翻转，并使用一个字节的常量stepover。这一策略在每百万次输入中发现了大约30条额外路径，而在更短的比特翻转的情况下可能会触发这一策略。很明显，每个传递都需要一个输入文件的一个execv ...
分类：
其他好文 时间：
2018-08-03 14:09:11
阅读次数：
260
关键词句和文本集每篇文章相关度计算：假设语料库中有几万篇文章，每篇文章的长度不一，你任意输入关键词或句子，通过代码以tf-idf值为准检索出来相似度高的文章。 1、TF-IDF概述 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文 ...
分类：
编程语言 时间：
2018-08-03 10:47:38
阅读次数：
286
一、如何定义一个单词 在统计一句话有多少个单词的时候，首要问题是如何定义一个单词，通常有三种情况： 以上三种在不同任务下有不同的处理方法。 二、统计什么信息 在统计时，我们统计如下信息： 一般如下表示： corpora：语料库，也就是文本的数据集 N：token的数目 V：单词表，也就是type的集 ...
分类：
其他好文 时间：
2018-07-29 20:27:20
阅读次数：
184
参考https://blog.csdn.net/zxm1306192988/article/details/78896319 以NLTK为基础配合讲解自然语言处理的原理 http://www.nltk.org/ Python上著名的自然语?处理库 自带语料库，词性分类库 自带分类，分词，等功能 强? ...
分类：
其他好文 时间：
2018-07-26 01:10:30
阅读次数：
246
TF-IDF算法 TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。该算法在数据挖掘、文本处理和信息检索等领域得到了广泛的应用，如从一篇 ...
分类：
编程语言 时间：
2018-07-18 20:28:20
阅读次数：
1613
什么是TF IDF IF IDF(term frequency inverse document frequency)词频 逆向文件频率。在处理文本时，如何判断某一个词在文本中的重要性呢？IF IDF就是解决这个问题。字词的重要性与其在文本中出现的频率成正比(IF)，与其在语料库中出现的频率成反比( ...
分类：
其他好文 时间：
2018-07-13 23:17:32
阅读次数：
318
word2vec：低维向量的直接学习 接下来，我们来看下Deep Learning是如何从原始的语料库中直接学习到低维词向量的表达。这也是我们学习的第一个Deep NLP模型——word2vec模型。 Assignment ...
分类：
其他好文 时间：
2018-07-10 23:43:16
阅读次数：
270
