from：http://www.cnblogs.com/kemaswill/p/3266026.html 1. 多层神经网络存在的问题 常用的神经网络模型, 一般只包含输入层, 输出层和一个隐藏层： 理论上来说, 隐藏层越多, 模型的表达能力应该越强。但是, 当隐藏层数多于一层时, 如果我们使用随机 ...
分类：
Web程序 时间：
2018-10-30 11:22:16
阅读次数：
303
前馈神经网络：最简单的神经网络，每个神经元接收前一层的全连接输入然后输出到下一层，整个过程无反馈。BP神经网络：误差反向传播算法(ErrorBackPropagationTraining)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，按照误差向前传播的训练方法训练的多层前馈神经网络。梯度下降算法：
分类：
其他好文 时间：
2018-10-10 10:45:06
阅读次数：
615
前面两篇随笔实现的单层神经网络 和多层神经网络， 在MNIST测试集上的正确率分别约为90%和96%。在换用多层神经网络后，正确率已有很大的提升。这次将采用卷积神经网络继续进行测试。 1、模型基本结构 如下图所示，本次采用的模型共有8层（包含dropout层）。其中卷积层和池化层各有两层。 在整个模 ...
分类：
其他好文 时间：
2018-10-03 20:28:42
阅读次数：
206
timeline 1998， Yann LeCun 的 LeNet5 图像特征分布在整个图像上 在具有很少参数的多个位置上提取类似特征时，具有可学习的参数的卷积是个比较有效的方法 在没有应用GPU的时候，能够保存参数和计算就成了一个关键优势 LeNet5并没有把每个像素都作为大型多层神经网络的一个输 ...
分类：
其他好文 时间：
2018-09-30 16:34:54
阅读次数：
266
多层神经网络 对于多层神经网络的训练，delta规则是无效的，因为应用delta规则训练必须要误差，但在隐含层中没有定义。输出节点的误差是指标准输出和神经网络输出之间的差别，但训练数据不提供隐藏层的标准输出。 真正的难题在于怎么定义隐藏节点的误差，于是有了反向传播算法。反向传播算法的重要性在于，它提 ...
分类：
其他好文 时间：
2018-09-09 14:43:05
阅读次数：
282
不做卷积，只是增加多层神经网络层。 #-*- encoding:utf-8 -*- #!/usr/local/env python import numpy as np import tensorflow as tf from tensorflow.examples.tutorials.mnist ...
分类：
其他好文 时间：
2018-08-24 21:16:12
阅读次数：
248
多层感知机（multilayer perceptron，简称MLP）是最基础的深度学习模型。 ...
分类：
Web程序 时间：
2018-08-23 00:30:33
阅读次数：
204
除了前面介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。 ...
分类：
Web程序 时间：
2018-08-23 00:27:06
阅读次数：
427
前向传播 如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。 举个例子，假设上一层结点i,j,k,…等一些结点与本层的结点w有连接，那么结点w的值怎么算呢？就是通过上一层的i,j,k等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数 ...
分类：
其他好文 时间：
2018-07-26 18:23:07
阅读次数：
515
反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上，反向传播仅指用于计算梯度的方法，而另一种算法，例如随机梯度下降，使用该梯度来进行学习。此外，反向传播经常被误解为仅适用于多层神经网络，但是原则上它可以计算任何函数的导数（对于一些函数，正确的响应是报告函数的导数是未定义的）。 ...
分类：
编程语言 时间：
2018-07-19 13:46:29
阅读次数：
253
