机器人NLP模型介绍 1. 预训练模型 首先试验了以下三个预训练模型在语义相似度任务上的效果： hfl-chinese-roberta-wwm-ext hfl-chinese-roberta-wwm-ext-large bert-base-chinese 处于效率的考虑，进行语义相似度任务的时候不是 ...
分类：
其他好文 时间：
2021-06-16 17:50:04
阅读次数：
0
最近在做软件杯的项目，想做一个人脸识别、对比的登录，当相似度超过某个数值时通过登录验证。 json数据： {'error_code': 0, 'error_msg': 'SUCCESS', 'log_id': 9975359915559, 'timestamp': 1623377294, 'cach ...
分类：
编程语言 时间：
2021-06-11 18:36:07
阅读次数：
0
全文检索通过sphinx搜索出来的内容是没有问题的。 但是搜索结束之后，文章的排序还是多少有点小问题，是这样，我最开始是使用时间倒叙排序，这样就会有一个小问题就是，我想要的结果，或者说跟我搜索关键词最贴近的结果不会出现在前几条。这个体验很不好。 然后，我这里使用了PHP内置的similar_text ...
分类：
编程语言 时间：
2021-04-28 12:22:57
阅读次数：
0
通常，我们使用bert做文本分类，泛化性好、表现优秀。在进行文本相似性计算任务时，往往是对语料训练词向量，再聚合文本向量embedding数据，计算相似度；但是，word2vec是静态词向量，表征能力有限，此时，可以用已进行特定环境下训练的bert模型，抽取出cls向量作为整个句子的表征向量以供下游 ...
分类：
其他好文 时间：
2021-04-15 12:20:10
阅读次数：
0
OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用单词的上文预测单词，而 BERT 是同时使用上文和下文预测单词。因此，GPT 更擅长处理自然语言生成任务 (NLG)，而 BERT 更擅长处理自然语言理解任务 ...
分类：
其他好文 时间：
2021-04-06 15:20:32
阅读次数：
0
论文地址：https://www.aclweb.org/anthology/2020.coling-main.143/ 代码地址：未找到 Abstract 本文提出了一种新的基于双层异构图（DHG）的文档级RE模型。特别是，DHG由结构建模层和关系推理层组成Composed of a structu ...
分类：
其他好文 时间：
2021-02-09 12:03:52
阅读次数：
0
目录推荐系统一、导入模块二、收集数据三、数据预处理3.1 无评分电影处理四、协同过滤算法-基于用户的推荐4.1 余弦相似度4.2 数据标准化处理五、预测六、测试 更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblog ...
分类：
其他好文 时间：
2020-12-15 12:39:54
阅读次数：
2
Intro 交叉熵，用来衡量两个随机变量之间的相似度。 KL散度（相对熵），量化两种概率分布P和Q之间差异。 计算公式 交叉熵 \(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\) KL散度 \(D_{ ...
分类：
其他好文 时间：
2020-12-10 10:51:19
阅读次数：
3
发现apache提供了现成的解决方案1.Cosinesimilaritypackageorg.apache.commons.text.similarity;importjava.util.HashSet;importjava.util.Map;importjava.util.Set;/***MeasurestheCosinesimilarityoftwovectorsofaninnerproduc
分类：
编程语言 时间：
2020-12-03 12:02:01
阅读次数：
7
机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|中国药科大学药学信息学硕士知乎专栏|自然语言处理相关论文前几天写了一篇短文本相似度算法研究的文章，不过里面介绍的方法基本上都是基于词向量生成句子向量的方法。今天在这里就介绍一下传统算法TF-IDF是如何计算短文本相似度的。TF-IDF是英文TermFrequency–InverseDocumentFrequency的缩写，中文叫做词
分类：
其他好文 时间：
2020-11-25 12:59:04
阅读次数：
10
