对于有些人,看这些枯燥的公式符号是件痛苦的事情;但痛苦后总会有所欣喜,如果你充分利用它的话,你更能体会到他的美妙;先来几张效果图,激发你学习数学的欲望:
注释:图像融合效果,分别应用了不同的算法
在图像图形处理中, 梯度、散度和旋度 有很重要的作用,比如图像修复中的解泊松方程,目标跟踪等等,可以说是他们无处不在。
来句废话:可能有些人,对于数学符号里面倒三角 正三角 符号的意思?与读法感到迷惑,现稍作解释;
△二次函数根的判别式或者指三角形
▽读Nabla,奈...
分类:
其他好文 时间:
2015-02-11 22:05:28
阅读次数:
947
一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了;
二、GB其实是一种理念,他并不是这一个具体的算法,意思是说沿着梯度方向,构造一系列的弱分类器函数,并以一定权重组合起来,形成最终决策的强分类器;注意,这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数,区别于传统的梯度下降法选择一个方向;那么问题就来...
分类:
其他好文 时间:
2015-02-10 18:48:53
阅读次数:
410
再理解RankNet算法
前面的一篇博文介绍了学习排序算法(Learning to Rank)中的RankNet算法。如下:
http://blog.csdn.net/puqutogether/article/details/42124491
那次的入门对其中的算法流程和基本原理没有深入了解,这次看自动摘要提取算法的时候,里面有一个排序单元,使用到的...
分类:
编程语言 时间:
2015-02-09 11:04:55
阅读次数:
334
今天打算改进一维搜索算法要求一维搜索类做到以下几点:1.在失败时,能够返回失败的具体原因,以便根据不同情况分别处理2.尽可能找到使得函数充分下降的步长发现初始步长选得不是越小越好,太小的步长会出现数值误差,导致一维搜索出错能够把参数记下来下次使用当前采用了一些改进,包括1. 在共轭梯度法和牛顿法中,...
分类:
其他好文 时间:
2015-02-07 00:28:34
阅读次数:
222
今天把一维搜索和共轭梯度法加在牛顿法前面,发现模拟比较顺利了。这个是模拟的结果,从左到右硬度递增来自为知笔记(Wiz)附件列表rodCG.gifrodCG0.gifrodCG2.gif
分类:
其他好文 时间:
2015-02-05 17:54:29
阅读次数:
139
看最优化的文章时总能看到牛顿法和梯度下降法等基础算法,这里对牛顿法做个总结。
牛顿法一般的用途有:1、求方程的根;2、求极值
求方程的根
并不是所有的方程都有求根公式,或者求根公式很复杂,导致求解困难。利用牛顿法,可以迭代求解。
原理是利用泰勒公式,在x0处展开,且展开到一阶,即f(x) = f(x0)+(x-x0)f'(x0)
求解方程f(x)=0,即f(x0)+(x-x0)*f'(x...
分类:
其他好文 时间:
2015-02-02 00:47:18
阅读次数:
232
下面是一个典型的机器学习的过程,首先给出一个输入数据,我们的算法会通过一系列的过程得到一个估计的函数,这个函数有能力对没有见过的新数据给出一个新的估计,也被称为构建一个模型。就如同上面的线性回归函数。我们用X1,X2..Xn 去描述feature里面的分量,比如x1=房间的面积,x2=房间的朝向,等...
分类:
其他好文 时间:
2015-01-31 14:25:36
阅读次数:
191
网上去找关于HOG的资料,发现理解性的较少,并且较为冗长,为方便大家理解便自己写了篇,希望能对奋斗在特征提取第一线的同志们有所帮助:HOG即histogram of oriented gradient, 是用于目标检測的特征描写叙述子,该技术将图像局部出现的方向梯度次数进行计数,该方法和边缘方向直方...
分类:
其他好文 时间:
2015-01-29 14:20:05
阅读次数:
102
本文翻译节选自1998-Efficient BackProp, Yann LeCun et al..4.1 随机VS批训练每一次迭代, 传统训练方式都需要遍历所有数据集来计算平均梯度. 批训练也同样. 但你也可以使用随机训练的方法: 每次随机选择一个样本$\{Z^t, D^t\}$. 使用它来计算对...
分类:
其他好文 时间:
2015-01-28 21:04:45
阅读次数:
239
Regularization能在一定程度上减少过拟合 在线性回归中,J(θ)修改为: 在逻辑回归中,J(θ)修改为: 不管是线性回归还是逻辑回归,梯度下降的计算公式都是:
分类:
其他好文 时间:
2015-01-28 18:09:20
阅读次数:
178