预训练文本分类地址： https://www.cnblogs.com/jiangxinyang/p/10241243.html https://www.cnblogs.com/zhouxiaosong/p/11384197.html 快速适配下游任务的工程代码：https://github.com/ ...
分类：
其他好文 时间：
2020-01-16 21:55:33
阅读次数：
89
一般使用transformers做bert finetune时，经常会编写如下类似的代码： 在BertModel(BertPreTrainedModel)中，对返回值outputs的解释如下： 这里的pooler_output指的是输出序列最后一个隐层，即CLS标签。查看forward函数的源码，最 ...
分类：
其他好文 时间：
2020-01-08 18:53:03
阅读次数：
637
Google 最新(19.10)提出的预训练模型T5(Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer) 最近放出了源代码及paper. 连续刷榜GLUE SuperGLUE两大benc ...
分类：
其他好文 时间：
2019-12-31 00:56:18
阅读次数：
256
在上一篇的基础上，对数据调用keras图片预处理函数preprocess_input做归一化预处理，进行训练。 导入preprocess_input： 数据生成添加preprocessing_function=preprocess_input 训练25epoch，学习率从1e-3下降到4e-5： 测 ...
分类：
Web程序 时间：
2019-12-07 22:52:22
阅读次数：
237
在https://www.cnblogs.com/zhengbiqing/p/11780161.html中直接在resnet网络的卷积层后添加一层分类层，得到一个最简单的迁移学习模型，得到的结果为95.3%。 这里对最后的分类网络做些优化：用GlobalAveragePooling2D替换Flatt ...
分类：
Web程序 时间：
2019-11-30 22:50:49
阅读次数：
344
介绍 在参与的项目和产品中，涉及到模型和算法的需求，主要以自然语言处理（NLP）和知识图谱（KG）为主。NLP涉及面太广，而聚焦在具体场景下，想要生产落地的还需要花很多功夫。 作为NLP的主要方向，情感分析，文本多分类，实体识别等已经在项目中得到应用。例如 通过实体识别，抽取文本中提及到的公司、个人 ...
分类：
其他好文 时间：
2019-11-25 11:09:08
阅读次数：
85
ERNIE是百度自研的持续学习语义理解框架，该框架支持增量引入词汇（lexical）、语法（syntactic）、语义（semantic）等3个层次的自定义预训练任务，能够全面捕捉训练语料中的词法、语法、语义等潜在信息。ERNIE2.0实现了在中英文16个任务上的最优效果，具体效果见下方列表。一、ERNIE2.0中文效果验证我们在9个任务上验证ERNIE2.0中文模型的效果。这些任务包括：自然语言
分类：
其他好文 时间：
2019-11-09 09:56:13
阅读次数：
101
ERNIE是百度自研的持续学习语义理解框架，该框架支持增量引入词汇（lexical）、语法 （syntactic） 、语义（semantic）等3个层次的自定义预训练任务，能够全面捕捉训练语料中的词法、语法、语义等潜在信息。 ERNIE2.0实现了在中英文16个任务上的最优效果，具体效果见下方列表。 ...
分类：
其他好文 时间：
2019-11-08 18:56:13
阅读次数：
180
2019年3月，百度正式发布NLP模型ERNIE，其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。经过短短几个月时间，百度ERNIE再升级，发布持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型。继1.0后，ERNIE英文任务方面取得全新突破，在共计16个 ...
分类：
其他好文 时间：
2019-11-08 12:36:29
阅读次数：
107
2019年7月，百度ERNIE再升级，发布持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型,本篇内容教大家如何下载和使用！
分类：
其他好文 时间：
2019-11-06 09:12:55
阅读次数：
145
