前言今天要与大家分享的是AllenAI今年发表的最新工作，Longformer——一种可高效处理长文本的升级版Transformer。作者团队提供了开源代码，大家可快速复现，直接用于自己的任务。传统Tranformer-based模型在处理长文本时有着天然的劣势。因为传统模型采用的是“全连接”型的attention机制，即每一个token都要与其他所有token进行交互。其attention复杂度
分类：
其他好文 时间：
2020-12-29 11:04:31
阅读次数：
0
“Attention，Attention，还是Attention，看了三篇顶会论文，现在CVPR、ICCV都这么好发了么，随随便便加个Attention就算了不得的创新点？”这是曾经有段时间实验室大家读paper后很统一的的槽点。你可能还在通过不断增加卷积层、池化层、全连接层以尽量让自己的网络结构“看起来”和别人的不太一样，也可能还在琢磨怎么从图像分割领域“借”点东西过来应用于图像识别领域。对于很
分类：
其他好文 时间：
2020-12-24 12:15:30
阅读次数：
0
这篇文章的主要内容是对谷歌提出的transformer进行论文解读，主要是针对Google在2017年《Attentionisallyouneed》提出的transformer模型进行一个研究，另外我还看了这篇文章《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate》，这篇文章对seq2seq模型及其attention机制的应用
分类：
其他好文 时间：
2020-12-21 10:59:26
阅读次数：
0
五分钟看懂seq2seqattention模型。本文通过图片，详细地画出了seq2seq+attention模型的全部流程，帮助小伙伴们无痛理解机器翻译等任务的重要模型。seq2seq是一个Encoder–Decoder结构的网络，它的输入是一个序列，输出也是一个序列，Encoder中将一个可变长度的信号序列变为固定长度的向量表达，Decoder将这个固定长度的向量变成可变长度的目标的信号序列。-
分类：
其他好文 时间：
2020-11-26 14:57:13
阅读次数：
5
机器学习算法与自然语言处理出品@公众号原创专栏作者Don.hub单位|京东算法工程师学校|帝国理工大学OutlineIntuitionAnalysisProsConsFromSeq2SeqToAttentionModelseq2seq很重要，但是缺陷也很明显attentionwasbornWritetheencoderanddecodermodelTaxonomyofattentionnumber
分类：
其他好文 时间：
2020-11-26 14:37:40
阅读次数：
4
tf.app.flags.DEFINE_integer('num_blocks', 1, 'Number of blocks in each attention') tf.app.flags.DEFINE_integer('num_heads', 8, 'Number of heads in eac ...
分类：
其他好文 时间：
2020-11-10 11:08:36
阅读次数：
6
知识点补充 Shiro缓存 流程分析 在原来的项目当中，由于没有配置缓存，因此每次需要验证当前主体有没有访问权限时，都会去查询数据库。由于权限数据是典型的读多写少的数据，因此，我们应该要对其加入缓存的支持。 当我们加入缓存后，shiro在做鉴权时先去缓存里查询相关数据，缓存里没有，则查询数据库并将查 ...
分类：
其他好文 时间：
2020-11-07 16:20:39
阅读次数：
17
论文理解：https://blog.csdn.net/muyiyushan/article/details/89197083 https://blog.csdn.net/GracePro/article/details/100637822?utm_medium=distribute.pc_relev ...
分类：
其他好文 时间：
2020-11-06 02:08:42
阅读次数：
19
自然语言处理动手学Bert文本分类Bert作为目前自然语言处理领域最流行的技术之一，文本分类作为自然语言处理领域最常见的任务之一，Pytorch作为目前最流程的深度学习框架之一，三者结合在一起将会产生什么样的花火，本套课程基于Pytorch最新1.4版本来实现利用Bert实现中文文本分类任务，延续动手学系列课程风格，全程手敲代码，跟着老师一行一行代码撸起来。章节1:课程简介章节2:Seq2Seq相
分类：
编程语言 时间：
2020-10-19 22:55:15
阅读次数：
32
