matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
Tenegrad函数式一种常用的图像清晰度评价函数，是一种基于梯度的函数。
在图像处理中，一般认为对焦好的图像具有更尖锐的边缘，故具有更大的梯度函数值。
Tenegrad函数使用Sobel算子提取水平和垂直方向的梯度值。具体过程如下：
设Sobel卷积核为，，则图像在点处的梯度
定义该图像的Tenegrad值为
其中为图像中像素总数。
实现代码如下：
#inclu...
分类：
其他好文 时间：
2014-11-12 21:18:04
阅读次数：
301
图像处理之高斯一阶及二阶导数计算图像的一阶与二阶导数计算在图像特征提取与边缘提取中十分重要。一阶与二阶导数的作用，通常情况下：一阶导数可以反应出图像灰度梯度的变化情况二阶导数可以提取出图像的细节同时双响应图像梯度变化情况常见的算子有Robot, Sobel算子，二阶常见多数为拉普拉斯算子，如图所示：...
分类：
其他好文 时间：
2014-11-11 14:08:25
阅读次数：
1024
1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检測的特征描写叙述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检測中...
分类：
其他好文 时间：
2014-11-10 13:38:56
阅读次数：
205
梯度下降是回归问题中求cost function最小值的有效方法，对大数据量的训练集而言，其效果要好于非迭代的normal equation方法。 在将其用于多变量回归时，有两个问题要注意，否则会导致收敛速度小，甚至无法收敛。1. 特征均一化（Feature Scaling） 当特征量多时，...
分类：
其他好文 时间：
2014-11-08 16:35:06
阅读次数：
135
Machine Learning:Linear Regression With Multiple Variables
接着上次预测房子售价的例子，引出多变量的线性回归。
接着上次预测房子售价的例子，引出多变量的线性回归。
多变量梯度下降跟单变量一样需同步更新所有的theta值。
进行feature scaling的原因是为了使grad...
分类：
系统相关 时间：
2014-11-07 01:02:19
阅读次数：
413
一、基本概念梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。二、导数(1)定义设...
分类：
其他好文 时间：
2014-11-05 10:32:40
阅读次数：
516
机器学习算法 原理、实践与实战 —— 感知机感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1. 感知机...
分类：
其他好文 时间：
2014-11-03 14:26:40
阅读次数：
270
由于第一次实验的实验报告不在这台机器，先写这一算法吧。SGDLR（the Stochastic Gradient Descent for Logistic Regression），要讲解这一算法，首先要把名字拆为几块。1 随机 2 梯度下降 3逻辑回归先贴一篇文章：http://blog.csdn....
分类：
编程语言 时间：
2014-10-31 21:53:01
阅读次数：
389
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
