标签：style ar sp strong on div log bs ef
1、TF-IDF
TF-IDF（term frequency/inverse document frequency) 的概念被公认为信息检索中最重要的发明。描述单个term与特定document的相关性。
TF（Term Frequency）: 表示一个term与某个document的相关性。公式为: term在document中出现的次数/document中所有term出现的总次数.
IDF（Inverse Document Frequency）:表示一个term表示document的主题的权重大小。
主要是通过包含了该term的docuement的数量和docuement set的总数量来比较的。出现的次数越多，权重越小。公式是log(D/Dt) D是文档集合大小
Dw是包含了该Word的文档的总数。根据关键字k1,k2,k3进行搜索结果的相关性就变成TF1*IDF1 + TF2*IDF2 + TF3*IDF3。比如document1的term总量
为1000，k1,k2,k3在document1出现的次数是100，200，50。包含了 k1, k2, k3的docuement总量分别是1000， 10000，5000。document set的总
量为10000。
TF1 = 100/1000 = 0.1; TF2 = 200/1000 = 0.2; TF3 = 50/1000 = 0.05;
IDF1 = log(10000/1000) = log(10) = 2.3; IDF2 = log(10000/100000) = log(1) = 0; IDF3 = log(10000/5000) = log(2) = 0.69;
这样关键字k1,k2,k3与docuement1的相关性= 0.1*2.3 + 0.2*0 + 0.05*0.69 = 0.2645；其中k1比k3的比重在document1要大，k2的比重是0.
TF/IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵（Kullback-Leibler Divergence)。
TF和IDF的其他解释可参阅《数学之美》（吴军著），这本书超赞。
2、MapReduce 计算
不讨论实现的细节，只考虑如何构造其中的Key和value。
为了计算TF-IDF ，需要分别计算TF和IDF，TF为单词在文档中的频率，因此首先需要知道单词 word在文档Doc中出现的频度，其次需要知道当前Doc中单词的个数。
第一个JOB计算word在Doc中的频度。
MAP的输入：Key：行号 Value为对应文档的一行。在map函数中将每一行切分为一个个的单词，当然这么做其实是不完全正确的，比如对于词组 set
out，其原本的意思是出发，但是将其按单词进行划分后变为 set 和out，这不是我们原本的意愿。在此，为了简单起见我们忽略这些细节。MAP的输出：
Word@Doc 1。也就是 单词@文档名称 作为Key，Value为 1，表示 单词Word在Doc中出现了一次。
MapReduce的会根据Key排序并组合相应的Value，因此JOB1的Reduce输入为：Key：Word@Doc Value：1,1,1,1... 因此可以统计出单词Word在
Doc中一共 出现了多少次。将Reduce的输出设为：Key：Doc Value：Word->N。表示文档Doc中单词Word出现了N次。经过MapReduce的shuffle过程
后，Reduce的输出变为：Key：Doc Value：Word1->N1 Word2->N2,... ... ,Wordk->Nk。JOB1的Reduce输出可以作为JOB2-Map的输入。
到此，第一个JOB就统计了单词在不同文档的频度，Reduce的输出为第二个JOB的输入。
第二个JOB计算一个文档所有单词的个数和某一单词在文档中的频率TF。
MAP的输入：Key：Doc Value：Word1->N1，Word2->N2，... ... 。因此Map函数中可以计算一个文档中单词的总数Total，文档中每个单词的
个数是已知的，因此可以计算单词Word针对文档Doc的TF。将当前MAP的输出设为：Key：Word，Value：Doc N/Total ，也就是单词作为Key，所在文档
Doc和对应的TF作为Value。经过shuffle后，JOB2-Reduce的输入：Key：Word，Value：Doc1 N1/Total Doc2 N2/Total ... ... ，此时知道单词Word
在Doc1，Doc2... 等文档中出现，通过MapReduce获取文档总数，就可以计算Word针对每个文档Doc的IDF值，此时Reduce的输出变为：Key：Word@Doc Value：TF IDF TF*IDF。
至此，TF-IDF的计算完毕。对上述过程的优化，后续探讨。
标签：style ar sp strong on div log bs ef
原文地址：http://www.cnblogs.com/tju-gsp/p/4130788.html
