1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention ...
分类：
其他好文 时间：
2019-01-02 15:08:14
阅读次数：
1378
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention ...
分类：
其他好文 时间：
2019-01-02 15:07:33
阅读次数：
600
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention ...
分类：
其他好文 时间：
2019-01-02 15:02:29
阅读次数：
970
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention ...
分类：
其他好文 时间：
2019-01-02 12:54:39
阅读次数：
406
前言 Transfomer是一种encoder-decoder模型，在机器翻译领域主要就是通过encoder-decoder即seq2seq，将源语言(x1, x2 ... xn) 通过编码，再解码的方式映射成（y1, y2 ... ym), 之前的做法是用RNN进行encode-decoder,但 ...
分类：
其他好文 时间：
2018-12-31 15:46:08
阅读次数：
183
1、Show, Attend and Tell: Neural Image Caption Generation with Visual Attention.Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan ...
分类：
其他好文 时间：
2018-12-17 14:46:50
阅读次数：
800
一、背景 自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。 所以之后这类模型的 ...
分类：
其他好文 时间：
2018-12-13 16:21:43
阅读次数：
340
RNN RNN的发源： 1. 单层的神经网络（只有一个细胞，f(wx+b)，只有输入，没有输出和hidden state） 2. 多个神经细胞（增加细胞个数和hidden state，hidden是f(wx+b)，但是依然没有输出） 这里RNN同时和当前的输入有关系，并且是上一层的输出有关系。 3. ...
分类：
其他好文 时间：
2018-12-10 21:02:44
阅读次数：
933
最近在关注谷歌发布关于BERT模型，它是以Transformer的双向编码器表示。顺便回顾了《Attention is all you need》这篇文章主要讲解Transformer编码器。使用该模型在神经机器翻译及其他语言理解任务上的表现远远超越了现有算法。 在 Transformer 之前，多 ...
分类：
其他好文 时间：
2018-11-30 00:37:42
阅读次数：
1925
前言 这里学习的注意力模型是我在研究image caption过程中的出来的经验总结，其实这个注意力模型理解起来并不难，但是国内的博文写的都很不详细或说很不明确，我在看了 attention-mechanism后才完全明白。得以进行后续工作。 这里的注意力模型是论文 Show,Attend and ...
分类：
其他好文 时间：
2018-11-24 11:36:18
阅读次数：
262
