1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。对于可微函数,方向导数等于梯度与方向的内积,即:Df(x;d)=▽f(x)Td,因此,求函数f(x)在点x处的下降最快的方向,可归结为求解下列非线性规划:min▽f(x)Tds.t.||d||≤1当d=-▽f(x)/||▽f(x...
分类:
其他好文 时间:
2014-10-14 23:45:09
阅读次数:
479
L-BFGS算法比较适合在大规模的数值计算中,具备牛顿法收敛速度快的特点,但不需要牛顿法那样存储Hesse矩阵,因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结,一步步的理解L-BFGS算法,本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP...
分类:
其他好文 时间:
2014-10-14 17:37:39
阅读次数:
349
众所周知,反向传播算法很难调试和得到正确结果,特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法,可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子,假设,所以. 在一维空间,梯度下降的一次迭代公式如下:假设...
分类:
其他好文 时间:
2014-10-13 12:46:39
阅读次数:
304
假设给定m个训练样本的训练集,用梯度下降法训练一个神经网络,对于单个训练样本(x,y),定义该样本的损失函数:那么整个训练集的损失函数定义如下:第一项是所有样本的方差的均值。第二项是一个归一化项(也叫权重衰减项),该项是为了减少权连接权重的更新速度,防止过拟合。我们的目标是最小化关于W和 b 的函数...
分类:
编程语言 时间:
2014-10-13 02:27:02
阅读次数:
310
1 Laplace算子的物理意义Laplace算子的定义为梯度的散度。在Cartesian坐标系下也可表示为:或者,它是Hessian矩阵的迹:以热传导方程为例,因为热流与温度的梯度成正比,那么温度的梯度的散度就是热量的损失率。由此可见,Laplace算子可用于表现由于物质分布不均引起的物质输送。2...
分类:
其他好文 时间:
2014-10-12 13:24:58
阅读次数:
179
共轭梯度法(英语:Conjugate gradient method),是求解数学特定线性方程组的数值解的方法,其中那些矩阵为对称和正定。共轭梯度法是一个迭代方法,它适用于稀疏矩阵线性方程组,因为这些系统对于像Cholesky分解这样的直接方法太大了。这种方程组在数值求解偏微分方程时很常见。共轭梯度...
分类:
其他好文 时间:
2014-10-11 23:25:36
阅读次数:
431
1、HOG特征: 方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检測的特征描写叙述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检測中...
分类:
其他好文 时间:
2014-10-11 20:37:36
阅读次数:
272
本节课主要介绍人工神经网络.通过介绍评定模型,随机梯度下降法,生物启发和感知器系统,讲师用视图和数学解析式详细地讲解了神经网络的运行过程以及原理....
分类:
其他好文 时间:
2014-10-09 19:39:57
阅读次数:
256
最速下降法采用负梯度方向进行一维搜索,总体上看搜索速度应该是比较快,但是当迭代进行到靠近精确最优点时,会出现锯齿形搜索路径,这样就会大大降低搜索效率,所以通常在搜索前期采用最速下降法,当接近精确最优解时,改用牛顿法等其他在最优解附近搜索效率更高的方法。但是牛顿法也有缺点:一方面需要计算Hesse矩阵...
分类:
其他好文 时间:
2014-10-09 15:03:43
阅读次数:
181
网上去找关于HOG的资料,发现理解性的较少,并且较为冗长,为方便大家理解便自己写了篇,希望能对奋斗在特征提取第一线的同志们有所帮助:HOG即histogram of oriented gradient, 是用于目标检測的特征描写叙述子,该技术将图像局部出现的方向梯度次数进行计数,该方法和边缘方向直方...
分类:
其他好文 时间:
2014-10-08 12:59:15
阅读次数:
226