此次主要由自我学习过度到深度学习,简单记录如下:
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类),采用逐层贪婪的训练方法得到初始的参数,这...
分类:
其他好文 时间:
2015-06-11 14:41:24
阅读次数:
594
当使用MipMap时我们可能会遇到tex2D,tex2Dbias,tex2Dgrad,tex2Dlod几种纹理采样函数。
在PS中tex2D自动计算应该使用的纹理层。
tex2Dbias需要在t.w中指定一个偏移量来把自动计算出的纹理层全部偏移指定的值。
tex2Dgrad需要提供屏幕坐标x和y方向上的梯度来确定应该使用的纹理层。
tex2Dlod需要在t.w中明确指定要使...
分类:
其他好文 时间:
2015-06-10 19:31:41
阅读次数:
391
转载请注明出处:http://www.codelast.com/最速下降法(又称梯度法,或Steepest Descent),是无约束最优化领域中最简单的算法,单独就这种算法来看,属于早就“过时”了的一种算法。但是,它的理念是其他某些算法的组成部分,或者说是在其他某些算法中,也有最速下降法的“影子”...
分类:
其他好文 时间:
2015-06-08 21:06:39
阅读次数:
149
??
HOG 即梯度方向直方图(Histograms of Oriented Gradient),最早是由 Navneet Dalal 和Bill Triggs在 2005 年提出来,最初用于行人检测。他们提取 HOG 特征,采用线性 SVM分类器进行行人检测,取得了很好的效果。HOG 特征的提出建立在这样一个假设之上,即物体局部范围像素的边缘信息和梯度值分布能够充分描述该...
分类:
其他好文 时间:
2015-06-08 17:29:32
阅读次数:
218
机器学习中梯度下降(Gradient Descent, GD)算法只需要计算损失函数的一阶导数,计算代价小,非常适合训练数据非常大的应用。梯度下降法的物理意义很好理解,就是沿着当前点的梯度方向进行线搜索,找到下一个迭代点。但是,为什么有会派生出 batch、mini-batch、online这些GD...
分类:
编程语言 时间:
2015-06-06 19:23:07
阅读次数:
237
哎,刚刚submit上paper比较心虚啊,无心学习,还是好好码码文字吧。
subgradient中文名叫次梯度,和梯度一样,完全可以多放梯度使用,至于为什么叫子梯度,是因为有一些凸函数是不可导的,没法用梯度,所以subgradient就在这里使用了。注意到,子梯度也是求解凸函数的,只是凸函数不是处处可导。f:X→Rf: \mathcal{X}\rightarrow \mathbb{R}是一个凸函...
分类:
其他好文 时间:
2015-06-06 12:06:38
阅读次数:
218
这几天在看《统计学习方法》这本书,发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用,所以就特别查了些资料。 一.介绍 梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法,有实现简单的优点。梯度下降法是迭代算法,每一步需要求解目标函数的梯度向量。二.应用...
分类:
其他好文 时间:
2015-06-06 06:48:06
阅读次数:
124
主要功能:
Blob 是Caffe作为数据传输的媒介,无论是网络权重参数,还是输入数据,都是转化为Blob数据结构来存储,网络,求解器等都是直接与此结构打交道的。
其直观的可以把它看成一个有4纬的结构体(包含数据和梯度),而实际上,它们只是一维的指针而已,其4维结构通过shape属性得以计算出来(根据C语言的数据顺序)。
protected:
shared_ptr d...
分类:
其他好文 时间:
2015-06-04 22:48:34
阅读次数:
179
#Gradient Descent 梯度下降法#x为数据矩阵(mxn m:样本数 n:特征数 );y观测值(mx1);error相邻两次迭代的最大误差;#step为设定的固定步长;maxiter最大迭代次数,alpha,beta为回溯下降法的参数# 在直接设置固定的step时,不宜设置的过大,当步长...
分类:
其他好文 时间:
2015-06-04 21:01:28
阅读次数:
229
1、HOG特征: 方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检測的特征描写叙述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检測中...
分类:
其他好文 时间:
2015-06-03 21:21:01
阅读次数:
173