这里把按[1]推导的BP算法（Backpropagation）步骤整理一下，备忘使用。[1] 中直接使用矩阵微分的记号进行推导，整个过程十分简洁。而且这种矩阵形式有一个非常大的优势就是对照其进行编程实现时非常方便。 但其实初学时用标量计算推导也有一定的好处，比如可以清楚地知道某个权重是被谁所影响的。 ...
分类：
编程语言 时间：
2017-03-19 00:08:39
阅读次数：
333
FFNN Feed Forward Neural Network 前馈神经网络，神经网络中一般输入向前传递 BP Backpropagation 反向传播，一般专指误差反向传播算法， RBM Restricted Boltzmann Machine 限制波兹曼机 受限波兹曼机 监督学习 给出data ...
分类：
其他好文 时间：
2017-03-17 13:25:22
阅读次数：
193
How the backpropagation algorithm works 反向传播的目标是计算代价函数C分别关于w和b的偏导数?C/?w和?C/?b。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数?C/?w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快 ...
分类：
编程语言 时间：
2017-03-15 12:42:26
阅读次数：
384
神经网络的训练算法，目前基本上是以Backpropagation (BP) 反向传播为主（加上一些变化），NN的训练是在1986年被提出，但实际上，BP 已经在不同领域中被重复发明了数十次了（参见 G...
分类：
其他好文 时间：
2017-03-08 11:38:26
阅读次数：
260
在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识 ...
分类：
编程语言 时间：
2017-03-06 21:05:08
阅读次数：
355
虽然数学不是那么好，但还是要对这个经典算法真正推导一遍心里才安稳。 主要参考资料:ufldl 开始：首先要明确，反向传播算法，是为了计算loss相对于w,b的偏导数，以此来更新每次学习的ｗ,b，是一个巧妙地计算方法。 首先定义loss函数： 乍一看，这怎么求关于每个权值的偏导数呢？别急，反向传播算法 ...
分类：
编程语言 时间：
2017-02-26 00:07:48
阅读次数：
335
背景 前段时间，用过一些模型如vgg,lexnet，用于做监督学习训练，顺带深入的学习了一下相关模型的结构&原理，对于它的反向传播算法记忆比较深刻， 就自己的理解来描述一下BP网络. 关于BP网络的整体简述 BP神经网络，全程为前馈神经网络，它被用到监督学习中的主体思想是（我们假定我们这里各个层La ...
分类：
其他好文 时间：
2016-12-21 21:22:49
阅读次数：
179
卷积神经网络是第一个被成功训练的多层神经网络结构，具有较强的容错、自学习及并行处理能力。 一、基本原理 1.CNN算法思想 卷积神经网络可以看作为前馈网络的特例，主要在网络结构上对前馈网络进行简化和改进，从理论上讲，反向传播算法可以用于训练卷积神经网络。卷积神经网络被广泛用于语音识别和图像分类等问题 ...
分类：
其他好文 时间：
2016-12-19 22:01:16
阅读次数：
1020
