一、BERT整体结构 BERT主要用了Transformer的Encoder，而没有用其Decoder，我想是因为BERT是一个预训练模型，只要学到其中语义关系即可，不需要去解码完成具体的任务。整体架构如下图： 多个Transformer Encoder一层一层地堆叠起来，就组装成了BERT了，在论 ...
分类：
其他好文 时间：
2019-11-03 14:43:43
阅读次数：
2446
一、简介 1、目前的检测网络都是基于现成的分类网络来进行fine-tune的，这样会存在几个问题： 1）检测和分类任务对变化（translation）的敏感度不同，这样导致对学习目标的偏差 2）分类网络的结构会有很多限制，改动起来非常不方便 所以有了从零开始的训练方法（即没有预训练模型from sc ...
分类：
其他好文 时间：
2019-10-25 16:12:32
阅读次数：
82
文章目录1. 什么是XLNet2. 自回归语言模型（Autoregressive LM）3. 自编码语言模型（Autoencoder LM）4. XLNet模型4.1 排列语言建模（Permutation Language Modeling）4.2 Transformer XL4.2.1 vanil... ...
分类：
Web程序 时间：
2019-09-30 11:14:41
阅读次数：
106
1. 什么是BERT
BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在... ...
分类：
其他好文 时间：
2019-09-28 23:40:10
阅读次数：
98
本文开源了一个安全帽佩戴检测数据集及预训练模型，同时简要介绍下实践上如何完成一个端到端的目标检测任务。 ...
分类：
其他好文 时间：
2019-09-02 17:37:24
阅读次数：
1080
参考：迁移学习——Fine-tune 一、迁移学习 就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。 模型的训练与预测： 深度学习的模型可以划分为 训练 和 预测 两个阶段。 训练 分为两种策略：一种是白手起家从头搭建模型进行训练，一种是通过预训练模型进行训练。 预测 相对简单，直接用已经训 ...
分类：
其他好文 时间：
2019-08-28 12:57:22
阅读次数：
133
预训练模型 在CV中，预训练模型如ImagNet取得很大的成功，而在NLP中之前一直没有一个可以承担此角色的模型，目前，预训练模型如雨后春笋，是当今NLP领域最热的研究领域之一。 预训练模型属于迁移学习，即在某一任务上训练的模型，经过微调(finetune)可以应用到其它任务上。 在NLP领域，最早 ...
分类：
Web程序 时间：
2019-08-16 22:42:18
阅读次数：
127
1. Tensorflow模型文件 （1）checkpoint 该文件是文本文件，里面记录了保存的最新的checkpoint文件以及其他checkpoint文件列表。在测试的时候，可以通过修改这个文件，指定具体使用哪个模型 （2）meta文件 这个文件保存的是计算图结构，可以理解为神经网络结构图。是 ...
分类：
其他好文 时间：
2019-06-24 12:12:23
阅读次数：
75
论文参考链接：https://arxiv.org/abs/1705.02758 主要思想 提出了一种利用预训练模型(Imagenet Pretrained)来做解决目标共定位（object co localization）问题。目标共定位即给定一个图像集，这个图像集中大部分图像区域都是某一个物体如飞 ...
分类：
其他好文 时间：
2019-06-12 19:52:08
阅读次数：
129
Step I:下载预训练模型 wget -O - https://github.com/mozilla/DeepSpeech/releases/download/v0.3.0/deepspeech-0.3.0-models.tar.gz | tar xvfz - 文件内容如下 StepII:利用te ...
分类：
其他好文 时间：
2019-05-14 17:44:25
阅读次数：
177
