目录 定义网络 梯度反向传播 梯度更新 面试时的变相问法 参考资料 BPTT(back-propagation through time)算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。 BPTT算法在吴恩达和李宏毅等教授 ...
分类：
其他好文 时间：
2020-07-09 22:05:20
阅读次数：
123
正向传播方向的计算，很简单，这里我不在累赘。 重点我讲一下反方向的传播： 反向的输入是1 我想看以下消费税对总金额的影响：f(x)=200x 消费税下面的数字：f'(x)×1=200 再看一个，苹果总金额对总金额的影响： 令 f(x)=1.1x 苹果总金额下面的数字：f'(x)×1=1.1 我想知道 ...
分类：
其他好文 时间：
2020-07-07 15:00:52
阅读次数：
71
###想要搞懂这一个算法，需要两篇文章： ####1,搞懂梯度，这里我推荐一篇自己看过的文章，尽管有些瑕疵，但足够理解了梯度的理解和推导，简单来说，最重要的一点就是， ####梯度公式，就是各个变量的偏导数组成的向量 ####2,理解了梯度的公式，梯度为什么用偏导的向量表示，就可以看反向传播的算法推 ...
分类：
编程语言 时间：
2020-07-02 13:38:24
阅读次数：
54
神经网络 BPNN 感知机 神经网络入门 反向传播 tensorflow tf基础 控制依赖项 变量命名域和tensorboard 一元线性回归 模型持久化 交叉熵 global_steps的使用 手写数据集实现 CNN 激活函数 CNN过拟合 手写数据集CNN模型 权重初始化-CNN 批归一化 自 ...
分类：
其他好文 时间：
2020-06-18 17:49:05
阅读次数：
63
在之前的模型里，会看到有batch_size的变量，但是从来没用过，这里我们就使用一下batchsize这个变量。 之前应该讲过epoch是什么意思，一个EPOCH代表的意思就是用所有的样本训练一次，换句话讲，就是所有的样本都完成了一次前向传播（forward）和反向传播（backward prop ...
分类：
其他好文 时间：
2020-06-13 12:58:56
阅读次数：
73
batch-normalization 基本思想与通用框架 反向传播推导以及BN的好处 normalization的分类 多卡同步BN 后来学者探讨BN有用的真正原因，推翻原论文想法 ...
分类：
其他好文 时间：
2020-06-12 12:39:50
阅读次数：
59
1. Gradient Checking 你被要求搭建一个Deep Learning model来检测欺诈，每当有人付款，你想知道是否该支付可能是欺诈，例如该用户的账户可能已经被黑客掉。 但是，反向传播实现起来非常有挑战，并且有时有一些bug，因为这是一个mission-critical应用，你公司 ...
分类：
其他好文 时间：
2020-06-10 12:52:53
阅读次数：
60
反向传播（BPN）算法是神经网络中研究最多、使用最多的算法之一，它用于将输出层中的误差传播到隐藏层的神经元，然后用于更新权重。学习 BPN 算法可以分成以下两个过程： 正向传播：输入被馈送到网络，信号从输入层通过隐藏层传播到输出层。在输出层，计算误差和损失函数。 反向传播：在反向传播中，首先计算输出 ...
分类：
编程语言 时间：
2020-06-08 18:50:29
阅读次数：
84
反向传播算法基于多元函数链式法则，以下记录多元函数链式法则的证明与反向传播算法的实例推演。 多元复合函数的求导法则（多元链式法则） 定义 如果函数$u=\varphi(t)$及$v=\psi(t)$都在点$t$可导，函数$z = f(u,v)$在对应点$(u,v)$具有连续偏导数（重点），那么复合函 ...
分类：
编程语言 时间：
2020-06-06 18:33:46
阅读次数：
49
手把手使用numpy搭建卷积神经网络 主要内容来自DeepLearning.AI的卷积神经网络 本文使用numpy实现卷积层和池化层，包括前向传播和反向传播过程。 在具体描述之前，先对使用符号做定义。 上标[I]表示神经网络的第Ith层。 $a^{[4]}$表示第4层神经网络的激活值；$W^{[5] ...
分类：
其他好文 时间：
2020-05-13 00:23:59
阅读次数：
91
