前向传播： 前向传播就是求特征图的过程 通常x和w有四个维度[编号，深度，高度，宽度] 反向传播： 先来复习一下反向传播的知识： 反向传播回来的是梯度，也就是偏导数 反向传播力有一个链式法则：对于反向传播（反着看），本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导 红色代表反向传播，绿 ...
分类：
其他好文 时间：
2018-10-17 16:53:16
阅读次数：
489
前馈神经网络：最简单的神经网络，每个神经元接收前一层的全连接输入然后输出到下一层，整个过程无反馈。BP神经网络：误差反向传播算法(ErrorBackPropagationTraining)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，按照误差向前传播的训练方法训练的多层前馈神经网络。梯度下降算法：
分类：
其他好文 时间：
2018-10-10 10:45:06
阅读次数：
615
Autograd 1、深度学习的算法本质上是通过反向传播求导数，Pytorch的Autograd模块实现了此功能；在Tensor上的所有操作，Autograd都能为他们自动提供微分，避免手动计算导数的复杂过程。 2、autograd.Variable是Autograd中的核心类，它简单的封装了Ten ...
分类：
其他好文 时间：
2018-10-07 21:32:12
阅读次数：
617
主要内容： 一.初始化参数 二.前向传播 三.计算代价函数 四.反向传播 五.更新参数（梯度下降） 一.初始化参数 二.前向传播 三.计算代价函数 四.反向传播 五.更新参数（梯度下降） ...
分类：
其他好文 时间：
2018-10-02 14:22:17
阅读次数：
156
BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络,其算法称为BP算法,它的基本思想是梯度下降法。 BP神经网络的网络结构： 通常有n个输入，m个输出，中间有若干个隐藏层，具体如下图所示： BP神经网络的计算过程： 工作信号正向传递过程（前向传播）： 四个步骤： 1、输入层的每个节点 ...
分类：
其他好文 时间：
2018-09-29 18:21:06
阅读次数：
372
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
其他好文 时间：
2018-09-28 15:21:25
阅读次数：
146
? 神经网络中权重 $w^{(l)}_{ij}$ 的改变将影响到接下来的网络层，直到输出层，最终影响损失函数 ? $\color{red}{公式推导符号说明}$ 符号|说明 | $n_l$| 网络层数 $y_j$| 输出层第 $j$ 类 标签 $S_l$| 第 $l$ 层神经元个数（不包括偏置） $ ...
分类：
编程语言 时间：
2018-09-26 17:48:05
阅读次数：
249
推导过程 如图中所示我们规定$W_{ij}^k$表示第k层与第k+1层之间神经元的权重值，$z^k$表示对应输入第k层的值，$o^k$表示对应第k层输出的值 定义 损失函数 为： $l = \frac{1}{2}(y \widehat{y})^2$($y$表示预期输出) 比如图中 第2层和第3层 的 ...
分类：
其他好文 时间：
2018-09-24 00:30:00
阅读次数：
239
多层神经网络 对于多层神经网络的训练，delta规则是无效的，因为应用delta规则训练必须要误差，但在隐含层中没有定义。输出节点的误差是指标准输出和神经网络输出之间的差别，但训练数据不提供隐藏层的标准输出。 真正的难题在于怎么定义隐藏节点的误差，于是有了反向传播算法。反向传播算法的重要性在于，它提 ...
分类：
其他好文 时间：
2018-09-09 14:43:05
阅读次数：
282
[MATAB神经网络30个案例分析].史峰.扫描版[www.minxue.net] BP神经网络是一种多层前馈神经网络，信号向前传播，误差反向传播 拓扑结构图 训练过程包括以下步骤 网络初始化：确定网络输入层节点数，隐含层节点数，输出层节点数；初始化权值、阈值， 计算隐含层输出； 输出层计算； 误差 ...
分类：
其他好文 时间：
2018-09-09 00:42:20
阅读次数：
190
