TF-IDF原理及使用

标签：公式   csdn   sci   term   details   learn   inverse   log   出现   

1、TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).（逆文档词频）

2、自我理解：

　　公式TF = $$\frac{语料库中关键词出现的次数}{总词数量}$$    ##权重w  （词频）

     或者

              TF =  $$\frac{某个词在文章中出现的次数}{文章中出现词最多的次数}$$

      IDF = $$log\frac{文档总数}{某个文件（文档）关键词出现的次数+1}$$           ##文档总数。多个文件

     TF-IDF = TF * IDF     #词频-逆文档词频   词频 * 逆文档词频

3、通常算法实现的步骤：

  1）、分词

  2）、文件数

3、python 算法实现：jieba

4、hanlp实现

5、nltk的实现

6、Scikit-Learn的实现

4、应用场景：

原理： https://blog.csdn.net/zrc199021/article/details/53728499

TF-IDF原理及使用

标签：公式   csdn   sci   term   details   learn   inverse   log   出现   

原文地址：https://www.cnblogs.com/cbugs/p/9893256.html