码迷,mamicode.com
首页 > 其他好文 > 详细

递归神经网络RNN

时间:2018-11-08 00:18:59      阅读:224      评论:0      收藏:0      [点我收藏+]

标签:...   中间   目标   语言   .com   技术分享   多次   png   height   

递归神经网络

  实际属于输入之间可能是存在联系的,所以在多次输入x0、x1........中,每次的中间信息A(也称为机器单元)都保存下来传给下次输入的中间信息A,每次输入的计算结果h0、h1......不一定是目标结果可以不使用,只有最终的ht是想要的预测结果。

  递归神经网络适合自然语言处理。

  技术分享图片

  技术分享图片 

  每一步都会对它之前所有的操作进行参数更新,这个与其他的神经网络是不同的。 

  以E3为例,它的反向传播指向s3,而s3的反向传播指向s2和x3,会对它前面的所有的步都进行更新。

  技术分享图片

  递归神经网络会出现梯度消失(某一步的梯度约为0,后面相连的都为0,无法更新)的问题,如果链过长过多的比较小的梯度相乘会使梯度值接近0。

递归神经网络RNN

标签:...   中间   目标   语言   .com   技术分享   多次   png   height   

原文地址:https://www.cnblogs.com/zzx1905/p/RNN.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!