再理解RankNet算法
前面的一篇博文介绍了学习排序算法（Learning to Rank）中的RankNet算法。如下：
http://blog.csdn.net/puqutogether/article/details/42124491
那次的入门对其中的算法流程和基本原理没有深入了解，这次看自动摘要提取算法的时候，里面有一个排序单元，使用到的...
分类：
编程语言 时间：
2015-02-09 11:04:55
阅读次数：
334
看最优化的文章时总能看到牛顿法和梯度下降法等基础算法，这里对牛顿法做个总结。
牛顿法一般的用途有：1、求方程的根；2、求极值
求方程的根
并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。
原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0)
求解方程f(x)=0，即f(x0)+(x-x0)*f'(x...
分类：
其他好文 时间：
2015-02-02 00:47:18
阅读次数：
232
下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等...
分类：
其他好文 时间：
2015-01-31 14:25:36
阅读次数：
191
Stanford机器学习课程笔记——单变量线性回归和梯度下降法
1. 问题引入
单变量线性回归就是我们通常说的线性模型，而且其中只有一个自变量x，一个因变量y的那种最简单直接的模型。模型的数学表达式为y=ax+b那种，形式上比较简单。Stanford的机器学习课程引入这个问题也想让我们亲近一下machine learning这个领域吧~吴恩达大神通过一个房屋交易的问...
分类：
其他好文 时间：
2015-01-23 13:31:42
阅读次数：
174
利用图分割算法对图片进行分割是目前比较流行的算法之一。利用这种方法对图片进行分割时需要对相应的能量函数进行最小值搜索，当能量函数在定义域中属于凸函数时利用梯度下降法、EM等经典算法可以得到唯一的极值解，该解便是全局最小解。但是对于能量函数在定义域中不是凸函数，利用上面的经典算法很容易陷入局部极小值问题，从而很难得到理想效果。虽然采用模拟退火方法可以减轻陷入局部极小值可能性，但是这并不是最优的解法。...
分类：
编程语言 时间：
2015-01-19 19:14:47
阅读次数：
817
理论和公式请看网易公开课中Andrew Ng的机器学习，或者coursera中Andrew Ng的机器学习对于多元线性回归要拟合最好的直线，要使得误差平方和最小，课本上的方法都是求偏导，并使其为0，然后求解线性方程组。但是还有很多其他方法可以达到上述效果，Andrew在大样本和小样本的情况下给出了两...
分类：
其他好文 时间：
2015-01-06 19:59:23
阅读次数：
746
一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图：下面用一个简单的例子来展示，给一个无约束优化问题：minimize y = (x-3)*...
分类：
其他好文 时间：
2014-12-30 01:40:15
阅读次数：
664
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1....
分类：
编程语言 时间：
2014-12-25 21:57:06
阅读次数：
252
学习排序算法（二）：Pairwise方法之RankNet
前面一篇博文介绍的Ranking SVM是把LTR问题转化为二值分类问题，而RankNet算法是从另外一个角度来解决，那就是概率的角度。
1. RankNet的基本思想
RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。...
分类：
编程语言 时间：
2014-12-24 16:21:32
阅读次数：
1832
