标签:联系 nload http 相交 推出 分享 lsa 语言模型 img
在自然语言处理过程中,经常会涉及到如何度量两个文本之间的相似性,我们都知道文本是一种高维的语义空间,如何对其进行抽象分解,从而能够站在数学角度去量化其相似性。
有了文本之间相似性的度量方式,我们便可以利用划分法的K-means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚类分析;另一方面,我们也可以利用文本之间的相似性对大规模语料进行去重预处理,或者找寻某一实体名称的相关名称(模糊匹配)。
而衡量两个字符串的相似性有很多种方法,如最直接的利用hashcode,以及经典的主题模型或者利用词向量将文本抽象为向量表示,再通过特征向量之间的欧式距离或者皮尔森距离进行度量。本文将对NLP中文本相似度计算第一步文本向量化做一个简述。
无论文本式中文还是英文,我们首先要把它转化为电脑认识的形式。转化为电脑认识的形式的过程叫文本向量化。
向量化的粒度我们可以分为几种形式:
下面我们主要介绍以词为单位的文本向量化方法,词集模型、词代模型、n-gram、TF-IDF、word2vec。和以句子为单位的主题模型,LSA、NMF、pLSA、LDA等。
词集模型和词代模型都是将所有文本中单词形成一个字典vocab,然后根据字典来统计单词出现频数。不同的是:
词集模型和词代模型都是基于词之间保持独立性,没有关联为前提。这使得其统计方便,但同时也丢失了文本间词之间关系的信息。
n-gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为n的滑动窗口操作,形成了长度是n的字节片段序列。
以“我爱中国”为例:
一元模型(unigram model)分为“我”“爱”“中”“国”
二元模型(bigram model)分为“我爱”“爱中”“中国”
三元模型(trigram model)分为“我爱中”“爱中国”
以此类推,分好词后,就可以像词代模型的处理方式,按照词库去比较句子中出现的次数。n-gram能够比较好的记录句子中词之间的联系,n越大句子的完整度越高,但是随之而来的是词的维度成指数级增长。所以一般取n=2,n=3。
TF-IDF是Term Frequency - Inverse Document Frequency的缩写,即“词频-逆文本频率”。它由两部分组成,TF和IDF。
前面的TF也就是我们前面说到的词频,我们之前做的向量化也就是做了文本中各个词的出现频率统计,并作为文本特征,这个很好理解。关键是后面的这个IDF,即“逆文本频率”如何理解。前面,我们讲到几乎所有文本都会出现的"的"其词频虽然高,但是重要性却应该比词频低的"西瓜"和“中国”要低。我们的IDF就是来帮助我们来反应这个词的重要性的,进而修正仅仅用词频表示的词特征值。
所以一个词的定量化表示比较合理的是(词频X词的权重)。
\[ TF-IDF(x) = TF(x) * IDF(x) \]
ord2vec是google在2013年推出的一个NLP工具,它的特点是将所有的词向量化,这样词与词之间就可以定量的去度量他们之间的关系,挖掘词之间的联系。word2vec一般有CBOW和Skip-Gram模型。
CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量,而输出就是这特定的一个词的词向量。通过深度学习训练出相应的固定维度的词向量。Skip-Gram模型和CBOW模型反一反,输入是中心词,输出是上下文。
设想一下一个问题,如果我有两个文本,分别是“星期天”和“周日”,从词的角度,它们没有相交的词,那它们用统计词频的方法就会比较难处理。但是这两个词,我们一看就知道意思完全一样的。这里就可以用主题模型对它们进行处理,假设我们找到它们的2个隐含主题“假期”,“休息”,然后计算它们和隐含主题间的距离的相似度。
主题模型主要有以下几种,LSA、NMF、pLSA、LDA。
\[ A_{m \times n} \approx U_{m \times k}\Sigma_{k \times k} V^T_{k \times n} \]
本文主要介绍了文本相似度计算的第一步,文本的向量化。向量化好后,我们就可以通过一些常用的距离计算公式计算文本之间的相似度。
(欢迎转载,转载请注明出处。欢迎沟通交流: 339408769@qq.com)
标签:联系 nload http 相交 推出 分享 lsa 语言模型 img
原文地址:https://www.cnblogs.com/huangyc/p/9785420.html