码迷,mamicode.com
首页 > 其他好文 > 详细

关于LSTM核心思想的部分理解

时间:2018-04-19 00:36:19      阅读:234      评论:0      收藏:0      [点我收藏+]

标签:一个   时间   通过   去除   忘记   水平线   增加   变换   水平   

  具体资料可以查阅网上,这里提到一些难理解的点。别人讲过的知识点我就不重复了。

  LSTM 的关键就是细胞状态,按照水平线从左向右运行,如同履带,在整个链上运行。

  技术分享图片

  技术分享图片

 

  根据时间t-1,t,t+1,我们可以看出时间顺序

  

  完整的一个数据图如下图:

  技术分享图片


  LSTM 有称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。类比电子元件输入信息。LSTM 拥有三个门。

LSTM过程:

  tips:技术分享图片里面是乘号,就代表相乘,技术分享图片里面是加号,就代表相加,学习这个要类比流程图。

S1: 忘记门

  技术分享图片

  注意:有两个输入:技术分享图片技术分享图片, 经过技术分享图片的变换,得到技术分享图片,就是右边得到的式子。

 

S2:生成补充记忆

  技术分享图片

  技术分享图片的结果可以类比 W·X + b 的形式来记忆,在函数技术分享图片的作用下得到;技术分享图片同理 

 

S3:“记忆更新”(更新细胞状态)

  技术分享图片

  同样的道理,输入有三个:技术分享图片技术分享图片技术分享图片技术分享图片要在系数技术分享图片的作用下再相加。

 

 S4:选择性输出

  技术分享图片

  技术分享图片的分析同S2步骤,技术分享图片在 tanh函数以及系数技术分享图片的作用下输出。

以上就是LSTM的过程分析,需要结合专业的资料结合看。

 

关于LSTM核心思想的部分理解

标签:一个   时间   通过   去除   忘记   水平线   增加   变换   水平   

原文地址:https://www.cnblogs.com/qianyuesheng/p/8878458.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!