XLM 预训练模型的使用 本文使用的是 "Transformer" 库的预训练模型, 主要是对 xlm 部分的翻译. xlm 模型是在 BERT 模型的基础上使用多种语言或者跨语言语料库训练得到的预训练模型, 根据训练数据与训练方法的不同, 有三张预训练模型, 分别是 a causal langua ...
分类：
其他好文 时间：
2020-03-26 20:01:44
阅读次数：
122
介绍 在本次将学习另一个有着优秀表现的预训练模型：GPT 2 模型，以及使用它进行文本生成任务实践。 知识点 GPT 2 的核心思想 GPT 2 模型结构详解 GPT 2 进行文本生成 OpenAI 在论文 "Improving Language Understanding by Generativ ...
分类：
其他好文 时间：
2020-03-16 14:36:26
阅读次数：
155
可直接在百度的aistudio中进行实验： 地址：https://aistudio.baidu.com/aistudio/projectdetail/305830 ERNIE 通过建模海量数据中的词、实体及实体关系，学习真实世界的语义知识。相较于 BERT 学习原始语言信号，ERNIE 直接对先验语 ...
分类：
其他好文 时间：
2020-03-06 10:39:14
阅读次数：
337
在文章 "NLP（二十）利用BERT实现文本二分类" 中，笔者介绍了如何使用BERT来实现文本二分类功能，以判别是否属于出访类事件为例子。但是呢，利用BERT在做模型预测的时候存在预测时间较长的问题。因此，我们考虑用新出来的预训练模型来加快模型预测速度。 本文将介绍如何利用ALBERT来实现文本二分 ...
分类：
其他好文 时间：
2020-03-04 23:22:25
阅读次数：
75
词嵌入预训练模型Glove "1.词嵌入预训练模型" "2.Glove" "3.求近义词和类比词" 1.文本嵌入预训练模型 虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进： ...
分类：
其他好文 时间：
2020-02-21 22:02:37
阅读次数：
390
对于BERT后时代，不得不说强有力的预训练模型是刷榜、出色完成任务的基础，现在列举几个对此很有帮助的资源，同大家一起进步！！！ 一：互联网新闻情感分析复赛top8(8/2745)解决方案及总结； 地址：https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总 ...
分类：
其他好文 时间：
2020-02-21 18:35:41
阅读次数：
87
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 "BERT" 全称为 ...
分类：
其他好文 时间：
2020-02-08 17:37:21
阅读次数：
96
解决办法 断开wifi，连接手机热点 额外补充 https://github.com/pytorch/vision/tree/master/torchvision/models 几乎所有的常用预训练模型都在这里面 总结下各种模型的下载地址： Resnet: model_urls = { 'resne ...
分类：
其他好文 时间：
2020-02-07 21:06:31
阅读次数：
370
知乎上看到一篇博客https://zhuanlan.zhihu.com/p/99766566，讨论cnn中位置信息是如何学到的，感觉挺有意思的，就看了一下原文， 简单记录一下几个实验部分。 1、位置信息来自预训练模型 作者分别用预训练权重的vgg,resnet和posenet来对比，发现用了预训练权 ...
分类：
Web程序 时间：
2020-01-30 18:53:55
阅读次数：
125
问题描述 简单来说，比如你要加载一个vgg16模型，但是你自己需要的网络结构并不是原本的vgg16网络，可能你删掉某些层，可能你改掉某些层，这时你去加载预训练模型，就会报错，错误原因就是你的模型和原本的模型不匹配。 此时有两种解决方法： 1、重新解析参数的字典，将预训练模型的参数提取出来，然后放在自 ...
分类：
其他好文 时间：
2020-01-28 14:05:33
阅读次数：
216
