到目前为止，已经叙述了神经网络的监督学习，即学习的样本都是有标签的。现在假设我们有一个没有标签的训练集，其中. 自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的就是为了让输出值和输入值相等，即.下面就是一个自动编码器：自动编码器试图学习一个函数. 换句话说，它试图逼近一个等式函数...
分类：
其他好文 时间：
2014-10-14 14:04:58
阅读次数：
261
众所周知，反向传播算法很难调试和得到正确结果，特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法，可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子，假设，所以. 在一维空间，梯度下降的一次迭代公式如下：假设...
分类：
其他好文 时间：
2014-10-13 12:46:39
阅读次数：
304
假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数...
分类：
编程语言 时间：
2014-10-13 02:27:02
阅读次数：
310
