在图的鞍点位置,?标函数在x轴?向上是局部最小值,但在y轴?向上是局部最?值。假设?个函数的输?为k维向量,输出为标量,那么它的海森矩阵(Hessian matrix)有k个特征值(参?附录中“数学基础”?节)。该函数在梯度为0的位置上可能是局部最小值、局部最?值或者鞍点。 ?当函数的海森矩阵在梯度 ...
分类:
其他好文 时间:
2019-11-06 15:03:39
阅读次数:
251
此次主要由自我学习过度到深度学习,简单记录如下:
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类),采用逐层贪婪的训练方法得到初始的参数,这...
分类:
其他好文 时间:
2015-06-11 14:41:24
阅读次数:
594
原题链接:https://oj.leetcode.com/problems/find-peak-element/
题目大意:给定一个相邻元素不相等的数组,找出其中的一个局部最大值,返回对应下标。
方法1:顺序遍历。
本题的一个重要特点是,从第一个元素开始,若其大于相邻的后续元素,则第一个元素就是一个局部最大值,返回即可。若其小于相邻的后续元素,则第二个元素大于第一个元素。如此,一一遍历数组,...
分类:
其他好文 时间:
2014-12-15 15:29:53
阅读次数:
112