以下都是图片（由于在有道笔记本上做的编辑，所以复制拷贝之后发现有问题，所以用图片来做展示）
................中间省略一下输出..........................
分类：
其他好文 时间：
2014-12-30 17:07:09
阅读次数：
176
一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图：下面用一个简单的例子来展示，给一个无约束优化问题：minimize y = (x-3)*...
分类：
其他好文 时间：
2014-12-30 01:40:15
阅读次数：
664
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1....
分类：
编程语言 时间：
2014-12-25 21:57:06
阅读次数：
252
学习排序算法（二）：Pairwise方法之RankNet
前面一篇博文介绍的Ranking SVM是把LTR问题转化为二值分类问题，而RankNet算法是从另外一个角度来解决，那就是概率的角度。
1. RankNet的基本思想
RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。...
分类：
编程语言 时间：
2014-12-24 16:21:32
阅读次数：
1832
1 梯度下降法我们使用梯度下降法是为了求目标函数最小值f（X）对应的X，那么我们怎么求最小值点x呢？注意我们的X不一定是一维的，可以是多维的，是一个向量。我们先把f（x）进行泰勒展开：这里的α是学习速率，是个标量，代表X变化的幅度；d表示的是单位步长，是一个矢量，有方向，单位长度为1，代表X变化的方...
分类：
其他好文 时间：
2014-12-18 22:07:28
阅读次数：
294
考虑一个代价函数C , 它根据参数向量
计算出当前迭代模型的代价，记作C().
机器学习中，我们的任务就是得到代价的最小值，在机器学习中代价函数通常是损失函数的均值，或者是它的数学期望。见下图：
这个叫做泛化损失，在监督学过程中，我们知道z=(x,y) ,并且 f（x)
是对y的预测。
什么是这里的梯度呢？
当 是标量的时候，代价函数的梯度可表示如下：
当...
分类：
其他好文 时间：
2014-12-17 22:43:44
阅读次数：
323
http://www.zhihu.com/question/20822481知乎用户，非文, 非理Spirit_Dongdong、Wildog、mt Practices等人赞同同意@张子权的说法, 稍微再补充一下. 看问题估计, 题主可能是在学 machine learning 的东西, 所以才会有...
分类：
其他好文 时间：
2014-12-10 21:06:04
阅读次数：
331
NG的课件1，引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression， cost function为 求最小值，意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean ...
分类：
其他好文 时间：
2014-12-09 08:11:49
阅读次数：
330
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
转载自http://leftnoteasy.cnblogs.com机器学习中的数学系列：1)回归(regression)、梯度下降(gradient descent)2)线性回归，偏差、方差权衡3)模型组合(Model Combining)之Boosting与Gradient Boosting4)线...
分类：
其他好文 时间：
2014-11-28 18:13:25
阅读次数：
181
