码迷,mamicode.com
首页 >  
搜索关键字:梯度    ( 2016个结果
梯度下降法与牛顿法的解释与对比
1 梯度下降法我们使用梯度下降法是为了求目标函数最小值f(X)对应的X,那么我们怎么求最小值点x呢?注意我们的X不一定是一维的,可以是多维的,是一个向量。我们先把f(x)进行泰勒展开:这里的α是学习速率,是个标量,代表X变化的幅度;d表示的是单位步长,是一个矢量,有方向,单位长度为1,代表X变化的方...
分类:其他好文   时间:2014-12-18 22:07:28    阅读次数:294
深度学习中梯度下降知识准备
考虑一个代价函数C , 它根据参数向量 计算出当前迭代模型的代价,记作C(). 机器学习中,我们的任务就是得到代价的最小值,在机器学习中代价函数通常是损失函数的均值,或者是它的数学期望。见下图: 这个叫做泛化损失,在监督学过程中,我们知道z=(x,y)  ,并且 f(x) 是对y的预测。 什么是这里的梯度呢? 当 是标量的时候,代价函数的梯度可表示如下: 当...
分类:其他好文   时间:2014-12-17 22:43:44    阅读次数:323
OpenCV官方文档学习记录(15)
laplace边缘检测方式不同于sobel的一阶导数式边缘检测,laplace算子是将图像的横纵都考虑进来的一种检测,主要使用的是二阶偏导数进行离散变换:因为laplace也是使用分析梯度的方式进行变换,所以实际上调用的是sobel的方法。在上一篇上有体现,就是在两个方向上分别使用sobel计算结果...
分类:其他好文   时间:2014-12-14 22:35:15    阅读次数:266
机器学习中最小二乘与梯度下降发的区别
http://www.zhihu.com/question/20822481知乎用户,非文, 非理Spirit_Dongdong、Wildog、mt Practices等人赞同同意@张子权的说法, 稍微再补充一下. 看问题估计, 题主可能是在学 machine learning 的东西, 所以才会有...
分类:其他好文   时间:2014-12-10 21:06:04    阅读次数:331
【机器学习算法实现】logistic回归__基于Python和Numpy函数库
logistic回归一般用于二分类问题,比如判断一封邮件是否为垃圾邮件,判断照片中的人是男是女,预测一场比赛输还是赢......当然也可以用于多分类问题,比如k类别,就进行k次logistic回归。logistic回归算法之所以称作“logistic”,是因为它运用了logistic函数,即sigmoid函数。 logistic回归算法一般用于二分类问题(当然也可以多类别,后面会讲)。 logistic回归的算法思想: 重点在于怎么根据训练数据求得最佳拟合参数Θ?这可以用最优化算法来求解,比如常用的梯度上升...
分类:编程语言   时间:2014-12-10 14:18:25    阅读次数:502
数值优化-梯度下降法
NG的课件1,引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression, cost function为 求最小值,意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean ...
分类:其他好文   时间:2014-12-09 08:11:49    阅读次数:330
线性回归和局部加权线性回归
线性回归算法优缺点:优点:结果易于理解,计算不复杂缺点:对非线性数据拟合不好适用数据类型:数值型和标称型算法思想:这里是采用了最小二乘法计算(证明比较冗长略去)。这种方式的优点是计算简单,但是要求数据矩阵X满秩,并且当数据维数较高时计算很慢;这时候我们应该考虑使用梯度下降法或者是随机梯度下降(同Lo...
分类:其他好文   时间:2014-12-06 01:21:06    阅读次数:892
CSS高效开发实战:CSS 3、LESS、SASS、Bootstrap、Foundation --读书笔记(3)线性渐变
CSS 3加入了渐变效果,大大降低了网页对图片的依赖,最明显的就是现在的网站凸起效果的按钮几乎都不再采用图片,而采用更容易修改、带宽占用更小的渐变效果来实现。渐变应用的关键词是gradient,翻译过来就是梯度的意思。...
分类:Web程序   时间:2014-12-04 15:48:04    阅读次数:163
目标检测之hog(梯度方向直方图)---hog简介0
梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而...
分类:其他好文   时间:2014-12-03 15:34:57    阅读次数:295
Fisher Vector 通俗学习
Fisher vector本质上是用似然函数的梯度vector来表达一幅图像...
分类:其他好文   时间:2014-12-02 11:53:03    阅读次数:206
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!