1. 如何走上人工智能的研究的？Bengio说他小时候读了很多科幻小说，1985年（64年出生，21岁）研究生阶段开始阅读神经网络方面的论文，对这个领域产生了热情。 2. 如何看深度学习这些年的发展？Bengio说他们从实验、直觉入手，然后才提出理论，比如为什么反向传播有效，为什么深度这么重要。20 ...
分类：
其他好文 时间：
2017-11-11 16:48:18
阅读次数：
211
Tensor不能反向传播。 variable可以反向传播。 什么是 Variable Variable 计算, 梯度 到目前为止, 我们看不出什么不同, 但是时刻记住, Variable 计算时, 它在背景幕布后面一步步默默地搭建着一个庞大的系统, 叫做计算图, computational grap ...
分类：
其他好文 时间：
2017-11-07 20:57:26
阅读次数：
230
http://www.360doc.com/content/17/0209/17/10724725_627833018.shtml 数学完全看不懂 看到了这篇通过示例给出反向传播的博文A Step by Step Backpropagation Example 在这篇博文中，我们会使用有2个输入单元 ...
分类：
其他好文 时间：
2017-10-31 14:13:23
阅读次数：
156
一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设AN ...
分类：
编程语言 时间：
2017-10-29 21:55:06
阅读次数：
750
Layer时caffe的基本单元，至少有一个输入Blob（Bottom Blob）和一个输出Blob（Top Blob），有的Layer带有权值（Weight）和偏置项（Bias），有两个运算方向：前向传播（Forward）和反向传播（Backward），其中前向传播会对输入Blob进行某种处理（有 ...
分类：
其他好文 时间：
2017-10-27 21:27:59
阅读次数：
274
最后一次数学课，其实都是些很基础的推导而已。从四个不同的层面讲解反向传播，其中电路和有向图类比还是很直观新颖的解释。 ...
分类：
其他好文 时间：
2017-10-20 20:17:10
阅读次数：
108
BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以 ...
分类：
编程语言 时间：
2017-10-19 16:32:34
阅读次数：
681
图示池化层（前向传播） 池化层其实和卷积层有点相似，有个类似卷积核的窗口按照固定的步长在移动，每个窗口做一定的操作，按照这个操作的类型可以分为两种池化层： MAC （max pooling）在窗口中取最大值当做结果 AVG （average pooling）在窗口中取平均值当做结果 池化层的反向传播 ...
分类：
其他好文 时间：
2017-10-18 13:18:21
阅读次数：
183
我们要注意这个流程图，反向传播从这开始，没啥难点都是求导的链式法则，会用求导数就好 注意的是，da=dL(a,y)/da 这里他默认这么写，我是一脸懵逼啊，简写规则要记住，然后是一些推导，记得熟练当然最好 否则是可以自推的。 da=d(-yloga-(1-y)log(1-a))/da=-y/a+(1 ...
分类：
其他好文 时间：
2017-10-05 21:56:50
阅读次数：
170
卷积神经网络(CNN)模型结构 转载：http://www.cnblogs.com/pinard/p/6483207.html 看到的一片不错的文章，先转过来留着，怕以后博主删了。哈哈哈 在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中，卷积神经网络(Convolutional Ne ...
分类：
其他好文 时间：
2017-09-25 20:50:42
阅读次数：
263
