直观理解反向传播 反向传播算法是用来求那个复杂到爆的梯度的。 上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个参数有多敏感。 如上图，我们可以这样里理解，第一个权重对代价函数的影响是是第二个的32倍。 我们来考虑一个还没有被训练好的网络。我们 ...
分类：
编程语言 时间：
2019-01-30 00:16:04
阅读次数：
220
1.sigmod函数 $$ \sigma(x)=\frac{1}{1+e^{ x}} $$ sigmod函数的输出值再（0，1）这个开区间中，经常被用来映射为概率值。 sigmod函数作为激活函数曾经比较流行。 缺陷 当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。当反向传播经过了sig ...
分类：
其他好文 时间：
2019-01-28 13:44:56
阅读次数：
230
反向传播算法从大体上理解就是通过计算最终误差与某个权值参数的梯度，来更新权值参数。 梯度就是最终误差对参数的导数，通过链式求导法则求出。 然后通过赋予学习率计算得出，例如： 其中 为学习率。 ...
分类：
编程语言 时间：
2019-01-27 13:01:25
阅读次数：
227
在整个训练的过程中，我们观察到几个问题：不要用自己写的sigmod实现，反向传播会越界；最后输出层不要有relu；有些函数导数为0(无法反向传播) ...
分类：
其他好文 时间：
2019-01-24 21:11:07
阅读次数：
146
BP神经网络的基础介绍见：http://blog.csdn.net/fengbingchun/article/details/50274471，这里主要以公式推导为主。 BP神经网络又称为误差反向传播网络，其结构如下图。这种网络实质是一种前向无反馈网络，具有结构清晰、易实现、计算功能强大等特点。 B ...
分类：
其他好文 时间：
2019-01-24 20:15:25
阅读次数：
204
https://blog.csdn.net/a312863063/article/details/83512870 目 录第一章 初步了解GANs 3 1. 生成模型与判别模型. 3 2. 对抗网络思想. 3 3. 详细实现过程. 3 3.1 前向传播阶段. 4 3.2 反向传播阶段. 4 4. G ...
分类：
其他好文 时间：
2019-01-15 14:07:39
阅读次数：
344
TensorFlow Playground http://playground.tensorflow.org 帮助更好的理解,游乐场Playground可以实现可视化训练过程的工具 TensorFlow Playground的左侧提供了不同的数据集来测试神经网络。默认的数据为左上角被框出来的那个。被 ...
分类：
编程语言 时间：
2019-01-12 18:05:51
阅读次数：
298
前置知识： sigmod 函数 LR 1层神经网络 dL/dz 简称dz_，L(a,y）使用交叉熵。 da_ = dL/da = (-(y/a) + ((1-y)/(1-a))) dz_ = dL/da * da/dz = da_* g'(z) dw_ = dL/dz *dz/dw = dz* x ...
分类：
其他好文 时间：
2018-12-30 19:05:43
阅读次数：
482
本文摘自： https://www.cnblogs.com/pinard/p/6422831.html http://www.cnblogs.com/charlotte77/p/5629865.html 一、DNN求解参数的方法 在监督学习中，优化参数的方法 首先我们都会定义一个目标函数，一般来讲都 ...
分类：
编程语言 时间：
2018-12-24 02:55:07
阅读次数：
257
本篇本来是想写神经网络反向传播算法，但感觉光写这个不是很完整，所以就在前面将相关的求导内容一并补上。所谓的神经网络求导，核心是损失函数对线性输出 $\mathbf{z} \;\; (\mathbf{z} = \mathbf{Wa} + \mathbf{b})$ 求导，即反向传播中的 $\delta ...
分类：
其他好文 时间：
2018-12-18 19:35:16
阅读次数：
775
