视频跟踪论文读后感系列二：Online Selection Of Discriminative Tracking Features（PAMI2005）

Abstract

This paper presents an online feature selection mechanism for evaluating multiple features while tracking and adjusting the set of features used to improve tracking performance. Our hypothesis is that the features that best discriminate between object and background are also best for tracking the object. Given a set of seed features, we compute log likelihood ratios of class conditional sample densities from object and background to form a new set of candidate features tailored to the local object/background discrimination task. The two-class variance ratio is used to rank these new features according to how well they separate sample distributions of object and background pixels. This feature evaluation mechanism is embedded in a mean-shift tracking system that adaptively selects the top-ranked discriminative features for tracking. Examples are presented that demonstrate how this method adapts to changing appearances of both tracked object and scene background. We note susceptibility of the variance ratio feature selection method to distraction by spatially correlated background clutter and develop an additional approach that seeks to minimize the likelihood of distraction.

翻译

这篇文章展示了一个在线的特征选择机制，通过对跟踪过程中多个特征的评价选择出一个最具判别性的特征集合来提高跟踪效果。我们的假设是能将目标和背景区分开的特征是跟踪时最有效的特征。给定一个特征种子集合，我们通过计算目标和背景两类的条件采样密度的log 比率形成一个新的特征来解决目标／背景的判别任务（这一句不好理解，但是没关系，文章后面主要就是讲这个方法的，实际就是目标和背景区域提取直方图，这个可以看做是概率，然后计算每个bin上，目标和背景的概率比率的log，形成一个权重图，然后跟踪这个权重图，做反向投影，可能我说的也不是很清楚，还是看文章后面吧）。使用两个类的方差比率来对新特征的判别能力排名，即将背景和目标区分开的能力。这个特征选择机制嵌入在一个mean－shift 跟踪系统中 使用排名最靠前的几个特征来跟踪。在几个例子上，我们证明了这个方法可以适应目标或者背景外表改变。我们观察到使用方差比率方法对空间中和目标离的比较近的干扰物（外表比较像目标的别的物体，比如并排走的两个人）比较敏感，然后提出了一个额外的可以最小化这种干扰可能性的方法。

我的理解

这篇文章是想做特征选择，假设是可以将目标和背景区分的最好，那么用这种特征来跟踪应该是最好的，比如rgb 颜色空间中，可能某两个通道下面，物体和目标都是一样的，只是在最后一个通道中目标和背景才不一样，比如一个白色的底色（rgb 三通道全是 255）一个黄色的球（r g 通道是255，b通道不是），那么假设 子特征集合就是 r g b三个通道，那么肯定是用b通道来跟踪才能跟的上，因为r g 通道下面，就没有目标，全是255，目标和背景值都是一样的。

具体的方法

1

首先明确下，选择特征是在已知物体位置的情况下，选择的特征用来下一帧的跟踪。
计算颜色直方图，这样其实是一个概率分布，目标和背景在每个bin值上的概率可能不一样，比如上例，r g 通道下面，目标和背景的概率分布是一样的，而b通道目标和背景概率是不一样的，目标的b 假设是50，而背景是255，这样其实概率只在一个bin 上不为0，是1，不太恰当，但是也合理。然后将目标的直方图除以背景的直方图，取log，就变成了 tuned feature，这个新特征表示 某个bin上的值，是目标而不是背景的可能性，用这个新特征乘以原始图像，形成一个权重图（实际上文章里用的是一个条件概率，而不是重新计算直方图），目标区域的值大，背景区域的值小，表现为 目标区域比较亮（因为单通道下 看起来都是灰度图），背景比较暗。然后在对新的图统计直方图，这样目标和背景的概率分布就表现为单峰，二者的区分度也比较好度量。

2

测量两个分布的距离，使用fisher判别，即类内方差最小，类间方差最大，则距离越大。

3

假如目标周围有一个和它很相似的东西，那么，假设（最好的特征是区分目标和背景最好的）可能要改一下，变成，将目标和它的最相似干扰物，区分的最大的特征是最好的，这里有两个部分，第一是找到干扰物，需要一个搜索机制，第二是计算哪个特征能将目标和干扰物区分开。刚开始说了，选择特征是在已知目标位置的情况下做的，那么找到干扰物后，可以计算两个事件的概率比例，即目标是目标，背景是背景－事件A,目标是背景，背景是目标-事件B.A的概率越大，B的概率越小，那么特征最好。在找干扰物时，干扰物可能不止一个，其实这是个相对的概念，那么找到干扰最大的就可以了。搜索机制简单的说是用了，卷积操作，使用高斯核对权重图做卷积，结果的每个值，都是以原图上对应点为中心，大小和目标一样的区域的一个得分，这个得分表示这个区域是目标的概率。

我的看法

这种方法的限制，只能比较单通道特征，对于hog这种高维特征，不适合，当然在hog的32维之间是可以比较出来的，但是hog和rgb两个特征是无法比较的。
而且方法比较简单，数学上不是很新。现在的一些降维方法可以实现类似的功能，而且数学上比较简单。我是想做多维多特征属性的自适应选择。

现在陆续发现一些多特征融合选择，跟踪器融合的文章，这个和我的研究方法比较一致，以后会陆续写一下读后感。