之前有一篇文章讲了反向传播的原理： 下面这篇文章讲了反向传播为什么高效： https://blog.csdn.net/lujiandong1/article/details/52716726 主要通过对比得到的结论，也就是对比反向传播和之前的算神经网络权重的方法。 ...
分类：
其他好文 时间：
2018-04-14 18:08:53
阅读次数：
124
一、逻辑回归的局限 在逻辑回归一节中，使用逻辑回归的多分类，实现了识别20 20的图片上的数字。 但所使用的是一个一阶的模型，并没有使用多项式，为什么？ 可以设想一下，在原有400个特征的数据样本中，增加二次、三次、四次多项式，会是什么情形？ 很显然，训练样本的特征数量将会拔高多个数量级，而且，更重 ...
分类：
编程语言 时间：
2018-04-13 16:17:21
阅读次数：
220
摘要 最近在学习 ng 的神经网络入门。先记录一笔，一些概念 CNN( conventional Neual Network) 卷积神经网络 RNN(Recurrent neural network) 递归神经网络 误差函数 logistic regression 求导 正向传播、反向传播 单层神经 ...
分类：
其他好文 时间：
2018-04-04 16:09:47
阅读次数：
156
BP算法 基本思想：学习过程由信号的正向传播和误差的反向传播两个过程组成。（这一步体现在propagate()函数） 数学工具：微积分的链式求导法则。（这一步体现在propagate()函数中第34行） 求解最小化成本函数(cost function)：梯度下降法。（这一步体现在optimize() ...
分类：
其他好文 时间：
2018-04-01 22:00:42
阅读次数：
219
吴恩达 MachineLearning 第五周课后练习代码 概述 本周主要讲解了反向传播算法 (backpropagation algorithm)，用于计算神经网络中代价方程 (cost function) 对变量 theta 的偏导数值。本周主要内容即实现该算法。 nnCostFunction. ...
分类：
系统相关 时间：
2018-03-31 14:45:52
阅读次数：
1075
神经网络反向传播 首先理解一个基础前提，神经网络只是一个嵌套的，非线性函数（激活函数）复合线性函数的函数。对其优化，也同一般机器学习算法的目标函数优化一样，可以用梯度下降等算法对所有函数参数进行优化。 但因为前馈神经网络的函数嵌套关系，对其优化求偏导时，存在一个沿着网络反方向的链式关系。 以一个两个 ...
分类：
其他好文 时间：
2018-03-27 12:22:36
阅读次数：
136
今天闲来无事，考虑到以前都没有好好研究过卷积层、池化层等等的前向/反向传播的原理，所以今天就研究了一下，参考了一篇微信好文，讲解如下： 参考链接：https://www.zybuluo.com/hanbingtao/note/485480 https://github.com/hanbt/learn ...
分类：
其他好文 时间：
2018-03-24 14:26:26
阅读次数：
3061
权重初始化 参考资料： 1. "知乎" 2. "CSDN" 1. 权重初始化不能全部为0，不能都是同一个值。原因是，如果所有的初始权重是相同的，那么根据前向和反向传播公式，之后每一个权重的迭代过程也是完全相同的。结果就是，无论迭代多少次，这些权重都是一样的。 2. 不可以初始化为较大的随机值。原因是 ...
分类：
其他好文 时间：
2018-03-19 00:27:00
阅读次数：
156
caffe中的网络结构是一层连着一层的，在相邻的两层中，可以认为前一层的输出就是后一层的输入，可以等效成如下的模型 可以认为输出top中的每个元素都是输出bottom中所有元素的函数。如果两个神经元之间没有连接，可以认为相应的权重为０。其实上图的模型只适用于全连接层，其他的如卷积层、池化层，x与y之 ...
分类：
其他好文 时间：
2018-03-12 01:12:20
阅读次数：
1356
转载：http://blog.csdn.net/lujiandong1/article/details/53320174 在本章中，我们尝试使用我们犹如苦力般的学习算法——基于反向传播随机梯度下降来训练深度网络。但是这会产生问题，因为我们的深度神经网络并不能比浅层网络性能好太多。 1.如果说,深度学 ...
分类：
其他好文 时间：
2018-03-11 20:57:58
阅读次数：
903
