“我们需要放弃掉反向传播算法（Backpropagation algorithm），重新开辟一条新的路径。”终于，Hinton 还是表达出了这个或许已经埋藏他内心很久的想法。 图丨神经网络之父 Geoffrey Hinton 在上周三的一场多伦多 AI 会议上，Hinton 接受了 Axios 的采 ...
分类：
其他好文 时间：
2017-09-18 10:39:57
阅读次数：
276
一、深层神经网络 神经网络符号： 输入数据层：layer0，不包括在层数中 n[l]：第l层包含的神经元数目 二、前向和反向传播 z[l] = w[l] * a[l-1] + b[l] a[l] = g[l](z[l]) 向量化： Z[l] = W[l] * A[l-1] + b[l] A[l] = ...
分类：
其他好文 时间：
2017-09-17 11:43:57
阅读次数：
193
一、Sigmoid函数 1）表达式 2）函数曲线 3）函数缺点 梯度饱和问题。先看一下反向传播计算过程： 梯度饱和问题。先看一下反向传播计算过程： 梯度饱和问题。先看一下反向传播计算过程： 反向求导： 而其中： 所以，由上述反向传播公式可以看出，当神经元数值无线接近1或者0的时候，在反向传播计算过程 ...
分类：
其他好文 时间：
2017-09-14 16:56:50
阅读次数：
255
本周学习神经网络编程的基础知识构建神经网络，有些技巧是非常重要 神经网络的计算过程中，通常有一个正向的过程（正向传播步骤），接着会有一个反向步骤（反向传播步骤），为什么神经网络的计算可以分为前向传播和反向传播两个分开的过程？本周课程通过使用logistic回归来阐述，以便于能够更好的理解，logis... ...
分类：
其他好文 时间：
2017-09-08 23:59:57
阅读次数：
467
在反向传播的术语当中，我们看到，如果你想计算最后输出的变量的导数，使用你最关心的变量，对V的导数，那么我们就做完了一步反向传播，在这个流程中， 就是一个反向步， 现在来看另外一个例子，成本函数对a求导是多少呢？换句话说，我们改变a，将会对J的数值造成什么样的影响呢？介绍一个新的符号约定 当编程实现反... ...
分类：
其他好文 时间：
2017-09-08 23:56:58
阅读次数：
185
可以说，一个神经网络的计算，都是按照前向或者反向传播的过程来实现的 首先计算出神经网络的输出紧接着进行一个反向传播的操作，我们用来计算出对应的梯度或者导数这个流程图解释了，为什么使用这样的方式这样实现为了阐明这个计算过程，举一个比logistic回归更简单，不那么正式的神经网络的例子 来自为知笔记(... ...
分类：
其他好文 时间：
2017-09-08 23:53:17
阅读次数：
197
上一章中我们遗留了一个问题，就是在神经网络的学习过程中，在更新参数的时候，如何去计算损失函数关于参数的梯度。这一章，我们将会学到一种快速的计算梯度的算法：反向传播算法。 这一章相较于后面的章节涉及到的数学知识比较多，如果阅读上有点吃力的话也可以完全跳过这一章，把反向传播当成一个计算梯度的黑盒即可，但 ...
分类：
编程语言 时间：
2017-08-25 15:56:17
阅读次数：
207
GPU和CPU实现的不一样，这里贴的是CPU中的drop out 直接看caffe里面的源码吧：（产生满足伯努利分布的随机数mask，train的时候，data除以p,......反向传播的时候，没有产生伯努利分布的随机数， scale_ = 1. / (1. - threshold_); ...
分类：
其他好文 时间：
2017-08-25 01:17:39
阅读次数：
164
课程note中讲了一些工程经验，感觉很有用，记下来供自己以后查阅 相比于大的滤波器，小滤波器更受青睐。小滤波器参数更少、计算量更小、能够表达更多的特征，做反向传播时需要的内存更少。 通常不会考虑创建一个新的网络结构。一般都会找一些在ImageNet上有较好表现的预训练网络，下载下来然后做finetu ...
分类：
其他好文 时间：
2017-08-24 21:36:40
阅读次数：
185
这篇博客主要记录Andrew Ng课程第四章和第五章的神经网络，主要介绍前向传播算法，反向传播算法，神经网络的多类分类，梯度校验，参数随机初始化，参数的更新等等 ...
分类：
其他好文 时间：
2017-08-15 16:30:37
阅读次数：
270
