目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一 ...
分类：
Web程序 时间：
2017-05-06 19:05:30
阅读次数：
1119
一、深度学习 1、https://www.zybuluo.com/hanbingtao/note/433855 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零 ...
分类：
其他好文 时间：
2017-05-03 13:26:37
阅读次数：
205
课时12 神经网络训练细节part2（上） 训练神经网络是由四步过程组成，你有一个完整的数据集图像和标签，从数据集中取出一小批样本，我们通过网络做前向传播得到损失，告诉我们目前分类效果怎么样。然后我们反向传播来得到每一个权重的梯度，这个梯度告诉我们如何去调整每一个权重，最终我们能够更好的分类图片。 ...
分类：
其他好文 时间：
2017-04-26 20:53:49
阅读次数：
383
课时8 反向传播与神经网络初步（上） 反向传播在运算连路中，这是一种通过链式法则来进行递推的计算过程，这个链路中的每一个中间变量都会对最终的损失函数产生影响。 链式法则通常包含两部分，局部梯度和后一层的梯度相乘 前向和反向花费的时间是基本一样的。 大的函数也可以直接视作一个整体计算梯度 当局部梯度非 ...
分类：
其他好文 时间：
2017-04-23 19:30:26
阅读次数：
122
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
其他好文 时间：
2017-04-22 00:08:02
阅读次数：
221
反向传播算法（英：Backpropagation algorithm，简称：BP算法）是一种监督学习算法，常被用来训练多层感知机。 于1974年，Paul Werbos[1]首次给出了如何训练一般网络的学习算法，而人工神经网络只是其中的特例。不巧的，在当时整个人工神经网络社群中却无人知晓Paul所提 ...
分类：
编程语言 时间：
2017-04-22 00:07:41
阅读次数：
269
一、梯度下降法 1.什么是梯度下降法 顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步… 通过比较以上两个图，可以会发现，由于初始值的不同，会得到两个不同的极小值，所以权重初始值的设定也是十分重要的，通常的把W全部设置为0很容易掉到局部最优解，一般可以按照高斯分布 ...
分类：
其他好文 时间：
2017-04-16 16:08:11
阅读次数：
234
BP算法： 1.是一种有监督学习算法，常被用来训练多层感知机。 2.要求每个人工神经元（即节点）所使用的激励函数必须可微。 （激励函数：单个神经元的输入与输出之间的函数关系叫做激励函数。） （假如不使用激励函数，神经网络中的每层都只是做简单的线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达 ...
分类：
编程语言 时间：
2017-04-16 12:16:13
阅读次数：
352
构造：输入神经元个数等于输入向量维度，输出神经元个数等于输出向量维度。（x1=(1,2,3),则需要三个输入神经元） 一 前向后传播 隐层： 输出层： 一般化，向量表示 二 反向传播 1计算梯度delta：均方误差，利用了sigmoid函数导数的有趣性。 输出层梯度： --> eg. 隐层梯度： - ...
分类：
其他好文 时间：
2017-04-15 12:28:05
阅读次数：
257
参考资料：500 lines or less ocr 我们的OCR系统主要由5部分组成,分别写在5个文件之中。它们分别是: 客户端(ocr.js) 服务器(server.py) 简单的用户界面(ocr.html) 基于反向传播训练的ANN(ocr.py) ANN的实现脚本(neuralnetwork ...
分类：
编程语言 时间：
2017-04-09 00:04:18
阅读次数：
1378
