Transformer【Attention is all you need】

标签：enc   tran   图片   映射   部分   单元   ...   分享图片   一个   

前言

Transfomer是一种encoder-decoder模型，在机器翻译领域主要就是通过encoder-decoder即seq2seq，将源语言(x1, x2 ... xn) 通过编码，再解码的方式映射成（y1, y2 ... ym), 之前的做法是用RNN进行encode-decoder,但是由于RNN在某一时间刻的输入是依赖于上一时间刻的输出，所以RNN不能并行处理，导致效率低效，而Transfomer就避开了RNN，因此encoder-decoder效率高。

Transformer

从一个高的角度来看Transformer，它就是将源语言 转换 成目标语言

打开Transformer单元，我们会发现有两个部分组成，分别是encoder和decoder

参考：

https://jalammar.github.io/illustrated-transformer/

Transformer【Attention is all you need】

标签：enc   tran   图片   映射   部分   单元   ...   分享图片   一个   

原文地址：https://www.cnblogs.com/zhaopAC/p/10202071.html