1 梯度下降法我们使用梯度下降法是为了求目标函数最小值f(X)对应的X,那么我们怎么求最小值点x呢?注意我们的X不一定是一维的,可以是多维的,是一个向量。我们先把f(x)进行泰勒展开:这里的α是学习速率,是个标量,代表X变化的幅度;d表示的是单位步长,是一个矢量,有方向,单位长度为1,代表X变化的方...
分类:
其他好文 时间:
2014-12-18 22:07:28
阅读次数:
294
考虑一个代价函数C , 它根据参数向量
计算出当前迭代模型的代价,记作C().
机器学习中,我们的任务就是得到代价的最小值,在机器学习中代价函数通常是损失函数的均值,或者是它的数学期望。见下图:
这个叫做泛化损失,在监督学过程中,我们知道z=(x,y) ,并且 f(x)
是对y的预测。
什么是这里的梯度呢?
当 是标量的时候,代价函数的梯度可表示如下:
当...
分类:
其他好文 时间:
2014-12-17 22:43:44
阅读次数:
323
laplace边缘检测方式不同于sobel的一阶导数式边缘检测,laplace算子是将图像的横纵都考虑进来的一种检测,主要使用的是二阶偏导数进行离散变换:因为laplace也是使用分析梯度的方式进行变换,所以实际上调用的是sobel的方法。在上一篇上有体现,就是在两个方向上分别使用sobel计算结果...
分类:
其他好文 时间:
2014-12-14 22:35:15
阅读次数:
266
http://www.zhihu.com/question/20822481知乎用户,非文, 非理Spirit_Dongdong、Wildog、mt Practices等人赞同同意@张子权的说法, 稍微再补充一下. 看问题估计, 题主可能是在学 machine learning 的东西, 所以才会有...
分类:
其他好文 时间:
2014-12-10 21:06:04
阅读次数:
331
logistic回归一般用于二分类问题,比如判断一封邮件是否为垃圾邮件,判断照片中的人是男是女,预测一场比赛输还是赢......当然也可以用于多分类问题,比如k类别,就进行k次logistic回归。logistic回归算法之所以称作“logistic”,是因为它运用了logistic函数,即sigmoid函数。
logistic回归算法一般用于二分类问题(当然也可以多类别,后面会讲)。
logistic回归的算法思想:
重点在于怎么根据训练数据求得最佳拟合参数Θ?这可以用最优化算法来求解,比如常用的梯度上升...
分类:
编程语言 时间:
2014-12-10 14:18:25
阅读次数:
502
NG的课件1,引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression, cost function为 求最小值,意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean ...
分类:
其他好文 时间:
2014-12-09 08:11:49
阅读次数:
330
线性回归算法优缺点:优点:结果易于理解,计算不复杂缺点:对非线性数据拟合不好适用数据类型:数值型和标称型算法思想:这里是采用了最小二乘法计算(证明比较冗长略去)。这种方式的优点是计算简单,但是要求数据矩阵X满秩,并且当数据维数较高时计算很慢;这时候我们应该考虑使用梯度下降法或者是随机梯度下降(同Lo...
分类:
其他好文 时间:
2014-12-06 01:21:06
阅读次数:
892
CSS 3加入了渐变效果,大大降低了网页对图片的依赖,最明显的就是现在的网站凸起效果的按钮几乎都不再采用图片,而采用更容易修改、带宽占用更小的渐变效果来实现。渐变应用的关键词是gradient,翻译过来就是梯度的意思。...
分类:
Web程序 时间:
2014-12-04 15:48:04
阅读次数:
163
梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而...
分类:
其他好文 时间:
2014-12-03 15:34:57
阅读次数:
295
Fisher vector本质上是用似然函数的梯度vector来表达一幅图像...
分类:
其他好文 时间:
2014-12-02 11:53:03
阅读次数:
206