机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|NLP算法工程师知乎专栏|自然语言处理相关论文短文本相似度，即求解两个短文本之间的相似程度；它是文本匹配任务或文本蕴含任务的一种特殊形式，返回文本之间相似程度的具体数值。然而在工业界中，短文本相似度计算占有举足轻重的地位。例如：在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配
分类：
编程语言 时间：
2020-11-25 12:58:27
阅读次数：
18
本文主要讲解余弦相似度的相关知识点。相似度计算用途相当广泛，是搜索引擎、推荐引擎、分类聚类等问题的核心点。为了理解清楚余弦相似度的来龙去脉，本文从最简单的初中数学入手，介绍余弦公式的推导过程，然后基于余弦公式串讲一些实践的例子，最后给出余弦相似度在开源搜索引擎中的使用。 ...
分类：
其他好文 时间：
2020-11-04 17:35:35
阅读次数：
22
原理 BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。 BM25算法的一般性公式如下： 其中，Q表示Qu ...
分类：
编程语言 时间：
2020-07-14 21:46:51
阅读次数：
72
目录 LDA概述 基础知识 LDA主题模型 总结 一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。 一、LDA概述 在机器学习领域，LDA... ...
分类：
其他好文 时间：
2020-06-16 20:19:05
阅读次数：
50
聚类的定义 聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。聚类算法是无监督的算法。 常见的相似度计算方法 闵可夫斯基距离Minkowski/欧式距离 在上述的计算中，当p=1时，则是计算绝对值距离，通常叫做曼哈顿距离，当p ...
分类：
数据库 时间：
2020-05-20 20:12:09
阅读次数：
427
```pythonfrom collections import defaultdictfrom gensim import corporaimport jiebafrom gensim import similaritiesimport reclass Similarity: def docs(s... ...
分类：
其他好文 时间：
2020-05-14 01:24:08
阅读次数：
55
```python from collections import defaultdict from gensim import corpora import jieba from gensim import similarities import re class Similarity: def ... ...
分类：
其他好文 时间：
2020-05-06 01:08:10
阅读次数：
52
这里的答案匹配主要指填空题、问答题类的答案的匹配，也就是字符串的相似度。 网上有很多做法，例如求Levenshtein距离（字符串编辑距离）、汉明距离、莱文斯坦比、Jaro距离和Jaro-Winkler距离等，现在介绍一种可能更适合改卷评分场景的相似度计算方法一、原理篇1.1、核心：根据两字符串的匹 ...
分类：
编程语言 时间：
2020-02-27 19:22:59
阅读次数：
95
句子相似度可用于实现自动问答系统，本文将带你快速理解并上手实现一种计算句子相似度的算法。 ...
分类：
其他好文 时间：
2020-02-17 14:17:18
阅读次数：
85
在做自然语言处理的过程中，现在智能对话比较火，例如智能客服，智能家电，智能音箱等，我们需要获取用户说话的意图，方便做出正确的回答，这里面就涉及到句子相似度计算的问题，那么本节就来了解一下怎么样来用 Python 实现句子相似度的计算。 句子相似度常用的几种方法： 1、编辑距离 2、杰卡德系数计算 3 ...
分类：
编程语言 时间：
2020-02-15 11:38:38
阅读次数：
97
