1、前馈神经网络 前馈神经网络描述的是网络的结构，是指每一层的神经元只接受前一层神经元的输入，并且输出到下一层。 2、BP神经网络 百度百科：BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络。BP即Back Peopagation，就是常用的反向传播算法。 3、MLP MLP是多层感知机 ...
分类：
其他好文 时间：
2019-10-13 01:01:39
阅读次数：
101
代码来源：https://www.cnblogs.com/charlotte77/p/5629865.html ...
分类：
其他好文 时间：
2019-10-04 09:28:53
阅读次数：
75
BP算法为深度学习中参数更新的重要角色，一般基于loss对参数的偏导进行更新。 一些根据均方误差，每层默认激活函数sigmoid（不同激活函数，则更新公式不一样） 假设网络如图所示： 则更新公式为： 以上列举了最后2层的参数更新方式，第一层的更新公式类似，即上一层的误差来自于下一层所有的神经元，e的 ...
分类：
编程语言 时间：
2019-10-01 22:30:28
阅读次数：
153
ReLU层的设计： ReLU函数： 导数： Sigmoid层的设计： Affine 层： Softmax-with-Loss 层的实现 对应误差反向传播法的神经网络的实现： ...
分类：
编程语言 时间：
2019-09-02 17:41:32
阅读次数：
190
autograd包是PyTorch中神经网络的核心部分,简单学习一下. autograd提供了所有张量操作的自动求微分功能. 它的灵活性体现在可以通过代码的运行来决定反向传播的过程, 这样就使得每一次的迭代都可以是不一样的. Variable类 autograd.Variable是这个包中的核心类. ...
分类：
其他好文 时间：
2019-08-30 13:10:36
阅读次数：
78
直观理解反向传播法 反向传播算法其实就是 链式求导法则 的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用 随机梯度下降优化算法 去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集$\{(x^{(1)},y^{(1)}),···,(x^{(m ...
分类：
其他好文 时间：
2019-08-28 12:57:41
阅读次数：
96
反向传播算法 参考：[http://neuralnetworksanddeeplearning.com/chap2.html][0] BP 算法所关注的是损失函数 C 关于神经网络每一个权重 _w_ 和偏置 _b_ 的偏导。BP 算法向我们展示权值和偏置对损失值的影响。BP 不仅仅是一个快速的算法， ...
分类：
编程语言 时间：
2019-08-25 19:54:21
阅读次数：
298
对网络中所有权重计算损失函数的梯度 Ref. https://zh.wikipedia.org/wiki/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95 ...
分类：
其他好文 时间：
2019-08-24 17:06:08
阅读次数：
84
目录 卷积层的dropout 全连接层的dropout Dropout的反向传播 Dropout的反向传播举例 参考资料 在训练过程中，Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍，以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随 ...
分类：
其他好文 时间：
2019-08-20 10:47:55
阅读次数：
105
