RankNet学习思路

标签：

整理了一下学习ranknet需要知道的几点：

1、ranknet是从概率角度，利用pairwise解决排序问题；

2、最终我们学习的是一个为搜索结果打分的函数（Scoring Function），这个函数的作用是用来给搜索结果排序的，函数中带有未知参数，RankNet会帮你把参数训练出来，这个Scoring Function在这里并不是RankNet中特定的，因此只要提供的Scoring Function是smooth的，也就是可导的，那么就可以灌入RankNet中求解，至于Scoring Function的设计，并不是RankNet的责任，甚至可以直接选择一个线性函数f(x)=wx; 但由于RankNet是用神经网络训练的，而神经网络说到底又是用梯度下降来训练的；

3、把样本两两组成一个pair，对于一个pair，有两个概率需要定义，一个是预测概率：

s_i代表f(x_i)的预测结果。这就是一个sigmod函数，其物理意义就是第i个样本排在第j个样本前面的概率，还有一个概率是真实概率，定义如下：

S_i_j取{0，1，-1}，如果i比j相关，则取1，相同取0，不相关取-1；

4、P_i_j保持一致性，即如果i比j相关，j比k相关，则i一定比k相关；通过P_i_j的定义，可能容易推出：

令P_i_j=P_j_k=p，则p和P_i_k的关系如下：

容易看出，当p>0.5时，即i>j,j>k，有P_i_k>0.5,即i>k。说明概率具有一致性；

5、使用交叉熵来作为训练损失函数：

容易推出：

损失函数C对排序函数中的w求导，可以得到：

S_i_j是训练样本目标，s_i，s_j是当前神经网络模型输入出，剩下就是神经网络对参数求导了。

RankNet学习思路

标签：

原文地址：http://blog.csdn.net/w28971023/article/details/45849659