码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习:浅谈RNN、LSTM+Kreas实现与应用

时间:2019-03-07 14:05:07      阅读:147      评论:0      收藏:0      [点我收藏+]

标签:学习   浅谈   current   矩形   依赖   生活   其他   实现   1.3   

主要针对RNN与LSTM的结构及其原理进行详细的介绍,了解什么是RNN,RNN的1对N、N对1的结构,什么是LSTM,以及LSTM中的三门(input、ouput、forget),后续将利用深度学习框架Kreas,结合案例对LSTM进行进一步的介绍。

一、RNN的原理

RNN(Recurrent Neural Networks),即全称循环神经网络,它是一种对序列型的数据进行建模的深度模型。如图1.1所示。

 

技术图片

 

图1.1

1、其中

技术图片

 

为序列数据。即神经网络的输入,例如nlp中,X1可以看作第一个单词、X2可以看作是第二个单词,依次类推。语音处理中,可以将

技术图片

 

是每帧的声音信号。时间序列中,例如,某生活用品的销量数据。

2、U、W、V是参数矩阵,b、c是偏置项,f是激活函数,通常采用”热撸”、tanh函数作为激活函数,用softmax将输出转换成各个类别的概率。

3、上图为经典的RNN结构,其运算过程可以表示为:

 

技术图片

 

式中:

技术图片

 

表示神经网络的输出;

技术图片

 

表示前一个时间点的状态;

4、考虑到输入与输出的关系,序列问题具有以下分类:

一对多的RNN结构:序列输出,用于图像字幕,如图1.2所示。

 

技术图片

 

图1.2

多对一的RNN结构:序列输入,用于情感分类,如图1.3所示。

技术图片

 

 

图1.3

多对多:序列输入和输出,用于机器翻译

同步多对多:同步序列输入和输出,用于视频分类

二、LSTM的原理

上面第一部分简单介绍了RNN的几种结构,接下来,介绍一下RNN的改进版:LSTM。LSTM(long short-term memory,长短时记忆网络),它的出现解决了很难处理的“长程依赖”问题,即无法学到序列中蕴含的间隔时间较长的规律。RNN每一层的隐状态都由前一层的隐状态经过变换和激活函数得到,反向传播求导时最终得到的导数会包含每一步梯度的连乘,将会引起梯度的消失或者梯度的爆炸。LSTM在隐状态使用了加法替代了每一步的迭代变换,这样便可以避免梯度消失的问题,从而使得网络学到长程的规律。

RNN可用图1.4表示

 

技术图片

 

 

图1.4

同理,LSTM的结构图1.5所示

 

技术图片

 

 

图1.5

其中图1.5中的符号,长方形表示对输入的数据做变换或激活函数;圆形表示逐点,逐点运算是指两个形状完全相同的矩形的对应位置进行相加、相乘或者其他的一些运算;箭头则表示向量会在那里进行运算。注意:

技术图片

 

通过concat操作,才进入Sigmoid或tanh函数。

RNN与LSTM有所不同,LSTM的隐状态有两部分,一部分是ht ,另一部分则是

技术图片

 

技术图片

 

在各个步骤之间传递的主要信息,绿色的水平线可看作“主干道”,如图1.6所示。通过加法,

技术图片

 

可以无障碍的在这条主干道上传递,因此较远的梯度也可以在长程上传播,这便是LSTM的核心思想。

 

技术图片

 

 

图1.6

但是,不是每一步的信息

技术图片

 

都是完全使用前一步的

技术图片

 

,而是在

技术图片

 

的基础之上“遗忘”掉一些内容,或“记住”一些内容。

1、 遗忘门,我们首先谈一谈遗忘门,每个单元都有一个“遗忘门”,用来控制遗忘掉

技术图片

 

的那些部分,其结构如图1.7所示。其中σ是sigmoid激活函数,它的输出在0~1之间,遗忘门输出的

技术图片

 

相同形状的矩阵,该矩阵将会和

技术图片

 

逐点相乘,决定遗忘掉那部分内容。经过激活函数的输出,f取值接近0的维度上的信息就会被“忘记”,而f取值接近1的维度上的信息就会被保留。

 

技术图片

 

 

图1.7

2、 输入层,如图1.8,在循环神经网络“忘记”了部分之前的状态后,它还需要从当前的输入补充最新的记忆,这个过程就是“输入门”完成的。输入门的输入同样是两项,分别是:

技术图片

 

。它的输出项,一项是

技术图片

 

技术图片

 

同样经过Sigmoid函数运算得到,其值都是在0~1之间,还有一项

技术图片

 

。最终要“记住”的内容是

技术图片

 

技术图片

 

点相乘,如图1.9。

 

技术图片

 

 

图1.8

 

技术图片

 

 

图1.9

3、 输出门,输出门用于计算另一个隐状态的值,真正的输出(如类别)需要通过做进一步运算得到。输出门的结构如图1.20所示,同样根据

技术图片

 

计算,

技术图片

 

中每一个数值在0~1之间,

技术图片

 

通过

技术图片

 

得到。

 

技术图片

 

 

图1.20

最终总结:LSTM中每一步的输入是

技术图片

 

,隐状态是

技术图片

 

,最终的输出必须要经过

技术图片

 

进一步变换得到。

 


 

为了帮助大家让学习变得轻松、高效,给大家免费分享一大批资料,让AI越来越普及。在这里给大家推荐一个人工智能Python学习交流群:519970686欢迎大家进群交流讨论,学习交流,共同进步。

当真正开始学习的时候难免不知道从哪入手,导致效率低下影响继续学习的信心。

但最重要的是不知道哪些技术需要重点掌握,学习时频繁踩坑,最终浪费大量时间,所以拥有有效资源还是很有必要的。

 

深度学习:浅谈RNN、LSTM+Kreas实现与应用

标签:学习   浅谈   current   矩形   依赖   生活   其他   实现   1.3   

原文地址:https://www.cnblogs.com/t198520/p/10489106.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!