码迷,mamicode.com
首页 > 其他好文 > 详细

GRU

时间:2018-05-30 15:08:19      阅读:1357      评论:0      收藏:0      [点我收藏+]

标签:目的   mat   span   一个   ima   http   根据   www   lstm   

GRU模型

LSTM的模型,LSTM的重复网络模块的结构很复杂,它实现了三个门计算,即遗忘门、输入门和输出门。

技术分享图片

而GRU模型如下,它只有两个门了,分别为更新门重置门,即图中的Zt和Rt。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度,重置门的值越小说明忽略得越多。

技术分享图片

 

 

1.重置门Rt的作用:根据上一时刻的状态和这一时刻的输入,来决定我这一时刻的输入以什么样子的形式被输出。

2.Zt的大小是根据上一时刻的状态和这一时刻的输入来决定的,它这里对两个输入有决定作用,第一个是决定当前时刻的的输入多少被附加到上一时刻的状态中去,第二个决定的是上一时刻的状态多少被保留。

3.更新们用到了“1-”,解释为:因为Zt决定了两个流,一个是上一时刻的状态流,一个是这一时刻的输入流,当Zt越大时,说明当前时刻的信息量越大,而经过“1-”以后,1-Zt的值就会很小,那么上一时刻的信息保留的就会越少

目的是为了保留比较重要的信息。

GRU

标签:目的   mat   span   一个   ima   http   根据   www   lstm   

原文地址:https://www.cnblogs.com/callyblog/p/9110791.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!