场景：上次回答word2vec相关的问题，回答的是先验概率和后验概率，没有回答到关键点。 词袋模型（Bag of Words, BOW）与词向量（Word Embedding）模型 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one hot、TF IDF、Huffman编码，假设词与词之间 ...
分类：
其他好文 时间：
2018-05-21 00:01:36
阅读次数：
807
环境 Python3， gensim，jieba，numpy ，pandas 原理：文章转成向量，然后在计算两个向量的余弦值。 Gensim gensim是一个python的自然语言处理库，能够将文档根据TF IDF, LDA, LSI 等模型转化成向量模式，gensim还实现了word2vec功能 ...
分类：
其他好文 时间：
2018-05-15 20:59:30
阅读次数：
6067
词频处理 tf/idf. 协同过滤 1.Co-occurence matrix. Normalize co-occurrence Similarity matrix. 1.1 Jaccard similarity: normalizes by popularity Who purchased i a ...
分类：
其他好文 时间：
2018-05-13 12:02:01
阅读次数：
129
Created by yinhongyu at 2018 4 28 email: hyhyin@163.com 使用jieba和sklearn实现了tf idf的计算 1 读取数据文件 数据爬取自新浪新闻，以"中美贸易战"为关键词，按照相关度搜索，爬取了搜索结果的前100页新闻的正文； 标题 来源 ...
分类：
其他好文 时间：
2018-04-28 14:19:01
阅读次数：
612
计算文档的TF IDF值 参考链接 "英文文本挖掘预处理流程总结" "文本挖掘预处理之向量化" "文本挖掘预处理之TF IDF" 1.TF IDF TF IDF(Term Frequency Inverse Document Frequency, 词频 逆文件频率)。 是一种用于资讯检索与资讯探勘的 ...
分类：
其他好文 时间：
2018-04-15 18:01:58
阅读次数：
304
TF-IDF算法 TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。该算法在数据挖掘、文本处理和信息检索等领域得到了广泛的应用，如从一篇 ...
分类：
其他好文 时间：
2018-04-08 22:44:18
阅读次数：
390
上一篇中，主要说的就是词袋模型。回顾一下，在进行文本分类之前，我们需要把待分类文本先用词袋模型进行文本表示。首先是将训练集中的所有单词经过去停用词之后组合成一个词袋，或者叫做字典，实际上一个维度很大的向量。这样每个文本在分词之后，就可以根据我们之前得到的词袋，构造成一个向量，词袋中有多少个词，那这个 ...
分类：
其他好文 时间：
2018-04-03 14:24:41
阅读次数：
457
之前就了解过TF-IDF，现在做一个回顾。 概念： TF（Term Frequency）词频:一个文档中关键词出现的次数/该文档的总词数， IDF（Inverse Document Frequency）逆文档频率: 如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了 ...
分类：
其他好文 时间：
2018-03-23 14:17:34
阅读次数：
189
SVM分类器：支持向量机Support Vector Machine。 一个普通的SVM就是一条直线，用来完美划分linearly separable的两类。解决线性 要解决非线性需要到高维处理 核函数 TF-IDF（term frequency–inverse document frequency ...
分类：
其他好文 时间：
2018-03-21 23:19:33
阅读次数：
306
意义：关键词提取能让我们快速地了解一篇文章，或者从大量的语料中快速找到其想要说明的主题。特别是在信息化发展这么快的现状下，能够有效的提取文本的关键词，对于快速，及时，高效地获取信息非常有帮助。 技术：TF-IDF（term frequency-inverse document frequency） ...
分类：
其他好文 时间：
2018-03-20 18:06:37
阅读次数：
169
