码迷,mamicode.com
首页 >  
搜索关键字:梯度    ( 2016个结果
深度学习UFLDL老教程笔记1 稀疏自编码器Ⅱ
稀疏自编码器的学习结构:稀疏自编码器Ⅰ:神经网络反向传导算法梯度检验与高级优化稀疏自编码器Ⅱ:自编码算法与稀疏性可视化自编码器训练结果Exercise: Sparse Autoencoder自编码算法与稀疏性已经讨论了神经网络在有监督学习中的应用,其中训练样本是有类别标签的(x_i,y_i)。自编码...
分类:其他好文   时间:2014-11-28 21:22:29    阅读次数:588
机器学习
转载自http://leftnoteasy.cnblogs.com机器学习中的数学系列:1)回归(regression)、梯度下降(gradient descent)2)线性回归,偏差、方差权衡3)模型组合(Model Combining)之Boosting与Gradient Boosting4)线...
分类:其他好文   时间:2014-11-28 18:13:25    阅读次数:181
梯度 方向倒数 条件机制 拉格朗日乘数
方向导数定理。偏微分点乘方向单位向量 梯度最大的方向导数,标量场中某一点上梯度指向标量场中增长最快的方向。梯度的长度是这个导数值。 条件极值。对自变量有附加条件的极值。 e.g.:表面积为S的体积最大的长方体max(xyz)|2(xy+yz+xz)=s 转化无条件极值,利用拉格朗日乘数法 要找z=f...
分类:其他好文   时间:2014-11-23 12:59:02    阅读次数:226
opencv hog算子
梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的.....
分类:其他好文   时间:2014-11-20 20:14:08    阅读次数:311
jrae源码解析(二)
本文细述上文引出的RAECost和SoftmaxCost两个类。SoftmaxCost我们已经知道,SoftmaxCost类在给定features和label的情况下(超参数给定),衡量给定权重($hidden\times catSize$)的误差值$cost$,并指出当前的权重梯度。看代码。@Ov...
分类:其他好文   时间:2014-11-20 18:15:16    阅读次数:226
深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4:Debugging: Gradient Checking
1 Gradient Checking 说明前面我们已经实现了Linear Regression和Logistic Regression,关键在于代价函数Cost Function和其梯度Gradient的计算。在Gradient的计算中,我们一般采用推导出来的计算公式来进行计算。但是我们看到,推导出来的公式是复杂的,特别到后面的神经网络,更加复杂。这就产生了一个问题,我们如何判断我们编写的程序就...
分类:其他好文   时间:2014-11-20 13:46:16    阅读次数:339
最优解算法的讨论
不懂优化的人希望能有通用的方法来解决他手头的问题,但不幸的事没有这种方法存在,快速的方法都需要某些条件,比如常见的有强凸,线性,可分解啥的。目前研究的比较成熟的就是强凸光源可分解   非凸没有特别有效的方法来解,如果是强凸的,何必用那么复杂的方法求最优解?正是因为不是强凸的,才用到优化方法。就算是凸的,也分好几种不同的情况,只用一阶梯度,达到牛顿梯度法的收敛速度,在convex问题中,还有no...
分类:编程语言   时间:2014-11-18 14:50:00    阅读次数:755
图像处理之Canny边缘检测
带你一步一步剖析经典图像边缘检测算法Canny Edge Detection,从高斯模糊到 梯度计算、边缘幅值与角度计算、非最大信号压制、双阈值选取边缘、边缘连接到 结果输出,完整代码实现。...
分类:其他好文   时间:2014-11-16 17:18:28    阅读次数:321
OpenCV图像处理篇之边缘检测算子
3种边缘检测算子灰度或结构等信息的突变位置是图像的边缘,图像的边缘有幅度和方向属性,沿边缘方向像素变化缓慢,垂直边缘方向像素变化剧烈。因此,边缘上的变化能通过梯度计算出来。一阶导数的梯度算子对于二维的图像,梯度定义为一个向量,Gx对于x方向的梯度,Gy对应y方向的梯度,向量的幅值本来是 mag(f)?=?(Gx2?+?Gy2)1/2,为简化计算,一般用mag(f)=|Gx|+|Gy|近似,幅值同时...
分类:其他好文   时间:2014-11-16 15:59:55    阅读次数:1526
感知机
感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下:f(x)= sig.....
分类:其他好文   时间:2014-11-15 20:14:01    阅读次数:345
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!