码迷,mamicode.com
首页 > 其他好文 > 详细

使用不同的方法计算TF-IDF值

时间:2018-07-13 22:51:37      阅读:627      评论:0      收藏:0      [点我收藏+]

标签:href   不同的   重要   sklearn   ssi   target   microsoft   python   www.   

摘要

这篇文章主要介绍了计算TF-IDF的不同方法实现,主要有三种方法:

  • 用gensim库来计算tfidf值
  • 用sklearn库来计算tfidf值
  • 用python手动实现tfidf的计算

总结

之所以做了这方面的总结是因为最近在研究word2vec,然后涉及到了基于word2vec的文本表示方法。你用word2vec训练好的模型可以得到词的向量,然后我们可以利用这些词向量表示句子向量。


 

1. 一般处理方法是把句子里涉及到的单词用word2vec模型训练得到词向量,然后把这些向量加起来再除以单词数,就可以得到句子向量。这样处理之后可以拿去给分类算法(比如LogisticRegression)训练,从而对文本进行分类。


 

2. 还有一种是把句子里的每个单词的向量拼接起来,比如每个单词的维度是1*100

一句话有30个单词,那么如何表示这句话的向量呢?

把单词拼接来,最终得到这句话的向量的维度就是30*100维


 

3. 我想做的是把句子里所有的单词用word2vec模型训练得到词向量,然后把这些向量乘以我们之前得到的tfidf值,再把它们加起来除以单词数,就可以得到句子向量。也就是结合tfidf给单词加上一个权重,评判一个单词的重要程度。


 

4. 最后发现gensim和sklearn都不能满足我的需求,用python的方法做了一个。


 

详情请大家看这里

使用不同工具计算的tf-idf值对比 

https://www.zybuluo.com/lianjizhe/note/1212780

使用不同的方法计算TF-IDF值

标签:href   不同的   重要   sklearn   ssi   target   microsoft   python   www.   

原文地址:https://www.cnblogs.com/lookfor404/p/9307754.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!