参考文章 神经网络基础 Neural Networks and Deep Learning. Michael A. Nielsen 一文弄懂神经网络中的反向传播法：讲的很详细，用实例演示了反向传播法中权重的更新过程，但是未涉及偏置的更新 假设一个三层的神经网络结构图如下： 对于一个单独的训练样本x其 ...
分类：
其他好文 时间：
2018-03-10 00:24:15
阅读次数：
514
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
编程语言 时间：
2018-03-08 10:38:07
阅读次数：
223
一、前向传播 w 权重 b 偏差 a 输入 一般地，我们可以把前向传播过程表示： 2. 损失函数和代价函数 损失函数主要指的是对于单个样本的损失或误差； 代价函数表示多样本同时输入模型的时候总体的误差——每个样本误差的和然后取平均值。 3. 反向传播 反向传播的基本思想 就是通过计算输出层与期望值之 ...
分类：
其他好文 时间：
2018-03-06 10:52:21
阅读次数：
182
cnn网络中，网络更新一次参数是根据loss反向传播来，这个loss是一个batch_size的图像前向传播得到的loss和除以batch_size大小得到的平均loss。 softmax_loss前向传播中有这样一段代码： loss/get_normalizer(normalization_,va ...
分类：
其他好文 时间：
2018-03-01 17:06:50
阅读次数：
153
激活函数 使用 S 型函数作为隐藏单元上的激活函数,S 型函数的导数最大值为 0.25（如上所示）。这意味着，当你用 S 型函数单元进行反向传播时，网络上每层出现的错误至少减少 75%，如果有很多层，权重更新将很小，这些权重需要很长的训练时间。因此，S 型函数不适合作为隐藏单元上的激活函数。 初识修 ...
分类：
其他好文 时间：
2018-02-22 22:33:29
阅读次数：
438
神经网络基础 1.图计算 计算时有两种方法：正向传播和反向传播。正向传播是从底层到顶层的计算过程，逐步推出所求公式。反向传播是从顶层到底层，从已知的式子求出因变量的影响关系。 在这里用到的反向传播算法就是为了通过似然函数(成本函数)来确定要计算的参数。 在这里，logistic回归应用了反向传播，主 ...
分类：
其他好文 时间：
2018-02-18 21:56:53
阅读次数：
208
查看非叶节点梯度的两种方法 在反向传播过程中非叶子节点的导数计算完之后即被清空。若想查看这些变量的梯度，有两种方法： 使用autograd.grad函数 使用hook autograd.grad和hook方法都是很强大的工具，更详细的用法参考官方api文档，这里举例说明基础的使用。推荐使用hook方 ...
分类：
其他好文 时间：
2018-02-15 21:28:19
阅读次数：
937
ng机器学习视频笔记（七） ——神经网络的代价函数、反向传播、梯度检验、随机初始化 （转载请附上本文链接——linhxx） 一、代价函数 同其他算法一样，为了获得最优化的神经网络，也要定义代价函数。 神经网络的输出的结果有两类，一类是只有0和1，称为二分分类（Binary classificatio ...
分类：
其他好文 时间：
2018-02-04 12:39:00
阅读次数：
130
