码迷,mamicode.com
首页 > 其他好文 > 详细

自回归(auto-regression)机制

时间:2019-11-11 00:41:20      阅读:105      评论:0      收藏:0      [点我收藏+]

标签:ESS   src   alt   http   ssi   for   生成   图片   ima   

在每个新单词产生后,该单词就被添加在之前生成的单词序列后面,这个序列会成为模型下一步的新输入。这种机制叫做自回归(auto-regression),同时也是令 RNN 模型效果拔群的重要思想。

技术图片

GPT-2,以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型,本质上都是自回归模型

自回归(auto-regression)机制

标签:ESS   src   alt   http   ssi   for   生成   图片   ima   

原文地址:https://www.cnblogs.com/duoba/p/11832238.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!