https://www.zhihu.com/question/34681168 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？修改 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？修改 CNN(卷积神经 ...
分类：
其他好文 时间：
2016-06-20 15:23:19
阅读次数：
155
4. Long Short-Term Memory RNN 有一个致命的缺陷，传统的 MLP 也有这个缺陷，看这个缺陷之前，先祭出 RNN 的 反向传导公式与 MLP 的反向传导公式： \[RNN : \ \delta_h^t = f'(a_h^t) \left (\sum_k\delta_k^tw ...
分类：
其他好文 时间：
2016-06-17 17:00:15
阅读次数：
282
在深度学习领域，传统的多层感知机（MLP）具有出色的表现，取得了许多成功，它曾在许多不同的任务上——包括手写数字识别和目标分类上创造了记录。甚至到了今天，MLP在解决分类任务上始终都比其他方法要略胜一筹。 尽管如此，大多数专家还是会达成共识：MLP可以实现的功能仍然相当有限。究其原因，人类的大脑有着 ...
分类：
Web程序 时间：
2016-06-17 16:55:30
阅读次数：
339
在深度学习领域，传统的前馈神经网络（feed-forward neural net，简称FNN）具有出色的表现，取得了许多成功，它曾在许多不同的任务上——包括手写数字识别和目标分类上创造了记录。甚至到了今天，FNN在解决分类任务上始终都比其他方法要略胜一筹。 尽管如此，大多数专家还是会达成共识：FN ...
分类：
Web程序 时间：
2016-06-12 13:59:30
阅读次数：
357
RNN是一个很有意思的模型。早在20年前就有学者发现了它强大的时序记忆能力，另外学术界以证实RNN模型属于Turning-Complete，即理论上可以模拟任何函数。但实际运作上，一开始由于vanishing and exploiting gradient问题导致BPTT算法学习不了长期记忆。虽然之 ...
分类：
其他好文 时间：
2016-06-10 19:00:32
阅读次数：
3777
Attention For Fine-Grained Categorization Google ICLR 2015 本文说是将Ba et al. 的基于RNN 的attention model 拓展为受限更少，或者说是非受限的视觉场景。这个工作和前者很大程度上的不同在于，用一个更加有效的视觉网络， ...
分类：
其他好文 时间：
2016-06-05 00:59:25
阅读次数：
1424
引言前面已经介绍过RNN的基本结构，最基本的RNN在传统的BP神经网络上，增加了时序信息，也使得神经网络不再局限于固定维度的输入和输出这个束缚，但是从RNN的BPTT推导过程中，可以看到，传统RNN在求解梯度的过程中对long-term会产生梯度消失或者梯度爆炸的现象，这个在这篇文章中已经介绍了原因，对于此，在1997年
的Grave大作[1]中提出了新的新的RNN结构：Long Short Te...
分类：
编程语言 时间：
2016-05-27 11:24:59
阅读次数：
818
这一节主要介绍了RNN和LSTM。Modeling sequences: A brief overview在这一小节，我们将对应用于序列（sequences）的不同类型的模型做一个概括。我们从最简单的模型——ultra aggressive models（该模型尝试根据前一个序列（term or sequence）去预测下一个序列）开始，接着再讨论该模型使用了隐含层的复杂变形，然后再介绍更多有着hi...
分类：
其他好文 时间：
2016-05-18 18:05:39
阅读次数：
217
七月算法12月机器学习在线班---第二十次课笔记---深度学习--RNN 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 循环神经网络 复习之前的知识点： 全连接前向网络： 学习出来的是函数 卷积网络：卷积操作，部分链接，共享操作，逐层提取... ...
分类：
编程语言 时间：
2016-05-13 14:37:49
阅读次数：
222
因为本人数学水平比较差劲，所以看东西要求通俗易懂，下面记录的资源都是自己觉得讲解的比较容易理解的，供大家参考，同时也为自己回头复习， 1、细说卷积神经网络 2、循环神经网络(RNN, Recurrent Neural Networks)介绍 ...
分类：
其他好文 时间：
2016-05-13 08:56:05
阅读次数：
170
