码迷,mamicode.com
首页 > Web开发 > 详细

论文阅读:Memory Networks

时间:2017-08-17 20:06:11      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:问题   ext   技术分享   通用   store   alt   app   mod   联系   

一、论文所解决的问题
实现长期记忆(大量的记忆),而且实现怎样从长期记忆中读取和写入,此外还增加了推理功能
为什么长期记忆非常重要:由于传统的RNN连复制任务都不行,LSTM预计也够玄乎。

在QA问题中,长期记忆是非常重要的,充当知识库的作用。从当中获取长期记忆来回答问题
技术分享
上面这个问题就是,当遇到有若干个句子而且句子之间有联系的时候,RNN和LSTM就不能非常好地解决,以为是长期依赖。须要从记忆中提取信息技术分享
二、论文的解决方式
(0)总体架构一览
技术分享
技术分享
实际上所谓的Memory Network是一个通用的框架而已,内部的输入映射、更新记忆映射、输出映射、响应映射都是能够更换的
技术分享
技术分享
(1)特定于自然语言的实现
the I module takes an input text.
The text is stored in the next available memory slot in its original form
The G module is thus only used to store this new memory, so old memories are not updated.
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享


三、论文中的方案解决该问题。解决到了什么程度?

事实上论文中主要就是提了一个大的框架,而框架中的每个模块都是能够变更的,这样能够适应不同的应用,可是实质上并没有较大的创新。本质上还算是一种RNN类型的网络。


四、实验
(1)实验结果
技术分享
技术分享

论文阅读:Memory Networks

标签:问题   ext   技术分享   通用   store   alt   app   mod   联系   

原文地址:http://www.cnblogs.com/gccbuaa/p/7383720.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!