反向传播算法 上一节的我们已经知道了前向传播是如何计算的了。即给定x如何通过各个节点计算出y。 那么还有一个问题就是我们如何确定各个神经元的权重，或者如何说训练一个神经网络。 在传统机器学习算法中我们会使用梯度下降算法来做权重更新： $$ \theta_j:=\theta_j \alpha\frac ...
分类：
编程语言 时间：
2018-08-29 21:28:51
阅读次数：
465
看了很多反卷积和转置卷积的文章，似乎还是一头雾水，记录下自己理解的过程～ 有人一句话总结：逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。其实还是不是很理解。 反卷积（转置卷积）通常用来两个方面： 1. CNN可视化，通过反卷积将卷积得到的feature map还原到像素空间，来观察f ...
分类：
其他好文 时间：
2018-08-28 23:49:52
阅读次数：
842
sel(1:100); 1 2 3 4 5 ...100 X(sel, :); 1....... 2....... 3....... 4....... 5....... . . . 100...... https://www.cnblogs.com/liu-wang/p/9466123.html ...
分类：
编程语言 时间：
2018-08-19 14:03:17
阅读次数：
368
一 预备知识 二 反向传播 取出来一个神经元 Forward pass Backward pass 第一项比较简单，通过已知的函数可以直接求出： 第二项就比较复杂，简单的求解过程如下： 前边的论述是假设有两项是已知的情况，如果不知道呢？？？ 总结： 参考： http://speech.ee.ntu. ...
分类：
其他好文 时间：
2018-08-02 00:04:27
阅读次数：
178
K近邻算法 损失函数 正则化惩罚项 soft分类器 梯度下降 反向传播 ...
分类：
其他好文 时间：
2018-07-30 23:04:05
阅读次数：
157
一：梯度消失 通常神经网络所用的激活函数是sigmoid函数，这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f′(x)=f(x)(1?f(x))。因此两个0到1之间的数相乘，得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数 ...
分类：
其他好文 时间：
2018-07-27 14:47:07
阅读次数：
254
本文假设你已经对基本的神经网络结构，梯度下降法有一定的了解。 反向传播，主要是链式法则的反复应用。（链式法则是微积分中的求导法则，用于求一个复合函数的导数） 一个基本的神经网络模型可以表示为如下图所示： \L_{1}层是输入层，\L_{2}层是隐藏层，\L_{3}层是输出层。 1. 参考文献：htt ...
分类：
其他好文 时间：
2018-07-26 21:22:41
阅读次数：
134
前向传播 如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。 举个例子，假设上一层结点i,j,k,…等一些结点与本层的结点w有连接，那么结点w的值怎么算呢？就是通过上一层的i,j,k等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数 ...
分类：
其他好文 时间：
2018-07-26 18:23:07
阅读次数：
515
反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上，反向传播仅指用于计算梯度的方法，而另一种算法，例如随机梯度下降，使用该梯度来进行学习。此外，反向传播经常被误解为仅适用于多层神经网络，但是原则上它可以计算任何函数的导数（对于一些函数，正确的响应是报告函数的导数是未定义的）。 ...
分类：
编程语言 时间：
2018-07-19 13:46:29
阅读次数：
253
逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程 计算图: 举一个简单的例子例: 把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u 得j=3v 其中正向传播为从左到右得到成本函数的过程 反向传播为对其进行求导得到dJ/da,dJ/ ...
分类：
其他好文 时间：
2018-07-15 23:21:05
阅读次数：
185
