机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|中国药科大学药学信息学硕士知乎专栏|自然语言处理相关论文前几天写了一篇短文本相似度算法研究的文章，不过里面介绍的方法基本上都是基于词向量生成句子向量的方法。今天在这里就介绍一下传统算法TF-IDF是如何计算短文本相似度的。TF-IDF是英文TermFrequency–InverseDocumentFrequency的缩写，中文叫做词
分类：
其他好文 时间：
2020-11-25 12:59:04
阅读次数：
10
机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|NLP算法工程师知乎专栏|自然语言处理相关论文短文本相似度，即求解两个短文本之间的相似程度；它是文本匹配任务或文本蕴含任务的一种特殊形式，返回文本之间相似程度的具体数值。然而在工业界中，短文本相似度计算占有举足轻重的地位。例如：在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配
分类：
编程语言 时间：
2020-11-25 12:58:27
阅读次数：
18
目录 LDA概述 基础知识 LDA主题模型 总结 一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。 一、LDA概述 在机器学习领域，LDA... ...
分类：
其他好文 时间：
2020-06-16 20:19:05
阅读次数：
50
今天毕设进度基本就是从数据表格中获取到id并进行查询了 整理下毕设进度： 1.题库做题界面 2.我的信息展示界面 3.单词知识图谱 4.中文查询单词bug 5.文本识别算法 6.管理员模块：确定订单价格，审核专家 7.文本相似度算法 8.我的题库 9.单词查询优化，目前单词查询速度慢 优先做：1，2 ...
分类：
其他好文 时间：
2020-03-03 01:18:15
阅读次数：
62
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：“北京的首都是中国”与“中国的首都是北京”的相似度为1。“学习容易”和“学习困难”的相似度很容易也非常高。为解决这类问题，需要用其他方法对句子进行表示，LSTM是... ...
分类：
其他好文 时间：
2020-02-04 14:11:31
阅读次数：
99
具体算法代码网上有现成的工具类。不一一列举了。我在做某个项目的时候发现LD算法有个弊端。就是对于较大文本（>5w）的相似度计算会特别慢，原因在于LD的计算形式是： LD 可能衡量两字符串的相似性。它们的距离就是一个字符串转换成那一个字符串过程中的添加、删除、修改数值。如果文本变的非常的大可以想象计算 ...
分类：
编程语言 时间：
2019-12-28 13:11:00
阅读次数：
92
项目中需要算2个字符串的相似度，是根据余弦相似性算的，下面具体介绍一下： 余弦相似度计算 余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 我们知道，对于两个向量，如果他们之间的夹角越小，那么我 ...
分类：
编程语言 时间：
2019-12-23 16:44:30
阅读次数：
109
1、文本相似度，文本匹配模型归纳总结 https://blog.csdn.net/u012526436/article/details/90179466 2、短文本匹配的利器-ESIM https://zhuanlan.zhihu.com/p/47580077 ...
分类：
编程语言 时间：
2019-09-18 10:54:01
阅读次数：
109
一、基础知识 假设有一份文本数据如下，数据量很大，现在要对整个语料库进行文本分析，category代表新闻种类，theme代表新闻主题，URL代表新闻链接地址，content代表新闻主题内容 停用词：在content这一列，在数据量很大的情况，很容易发现某些似乎与新闻本身意义不大的词大量出现，而我们 ...
分类：
其他好文 时间：
2019-09-03 16:30:45
阅读次数：
171
一、LCS定义 ? 最长公共子序列（Longest Common Subsequence）? 一个序列S任意删除若干个字符得到的新序列T，则T叫做S的子序列? 两个序列X和Y的公共子序列中，长度最长的那个，定义为X和Y的最长公共子序列 – 字符串12455与245576的最长公共子序列为2455 – ...
分类：
其他好文 时间：
2019-09-03 16:13:54
阅读次数：
167
