lesson7-图像描述 -小象cv

标签：矩阵   image   art   ESS   打开   apt   函数   记忆   神经元   

朴素rcnn - 梯度消失严重
LSTM长短时记忆模型，有效捕捉长时记忆
包含四个神经元组：
一个记忆神经元
三个控制门神经元：输入、忘记、输出

注意：输入调制门、输出调制门

3个输入：前一时刻的隐藏状态h、前一时刻的记忆状态c、当前时刻的输入x
2个输出：当前时刻的隐含状态h，当前时刻的记忆状态c
i、f、o、gt对应的都是xt、ht-1的矩阵乘和偏置
以7个时间片为例-黑白：输入们、输出们关闭时不输出当前时刻、忘却门打开时可以向下一个时刻传递

记忆状态cell state：记忆的核心
控制门：配有sigmoid函数的神经元，【0，1】
忘记门：sigmoid激活
tanh激活：压缩记忆状态【-1，1】
记忆状态更新：1)选择性移除前一时刻的旧信息~记忆状态2）选择性添加当前时刻的新信息~调制输入

Lstm的变种：
peephole：窥视，ft和it加入Ct-1
coupled耦合的忘记-输入门：Ct
GRU门限递归单元：新增重置门和更新门，合并输入们和忘记们，合并记忆状态和隐藏状态

lstm&gru：后者更适合小规模数据，参数少、拟合能力相对弱

image captioning图说模型：
模型策略：
 传统的分段处理：
 1）图片内容-》文本标签-》描述语句
 2）将图片和文本映射到同一共享空间下，翻译图片特征-》语言描述 ~黑箱严重
 state-of-the-art模型：
 dnn框架：cnn~图片理解~vgg、resnet
   rnn~语言理解~multimodal-rnn、lstm~一个就够、gru~一个就够
   特殊功能模块~attention
 
show and tell模型：
 from google，cnn+lstm

lesson7-图像描述 -小象cv

标签：矩阵   image   art   ESS   打开   apt   函数   记忆   神经元   

原文地址：https://www.cnblogs.com/rosyYY/p/8866340.html