标签：

key words:   motion estimation and compensation ,  motion analysis，video encode

今天突然有这样的想法：我的研究方向是计算机视觉，但是我这一年来研究的都是在静态场景中，去理解分析，包括opencv处理图像，pcl处理点云，都是静态的，，还没有正经的去处理过动态的，也就是从视频中直接获取想要处理的内容，比如目标检测与跟踪，运动历史及预测轨迹等等。其实，opencv处理对象从内容获取来分类的话，就是两大块：图片和视频。opencv对视频的处理也是很多官方例程的，但pcl处理视频，还是很少的，其实想想是由道理的，若一个视频是由点云序列组成，那是什么视频啊（SLAM实时 地图重建应该有吧）。所以接下来的阶段，我会好好借助opencv去处理video，感知video。补充两点，在处理图片时，我就有想把时间维度加进去一起处理的想法，而视频本身就带有时间刻度，应该很好的实现这个想法吧；第二点，就是设计模式方面，大多线下训练学习线上测试（文章结尾上图），但是若有实时要求呢，实时重建，实时处理，结果实时显示，期待达到这样的要求，拭目以待。。。

关于video tracking 请看：http://en.wikipedia.org/wiki/Video_tracking 

一个歪果仁的小站，专门做视觉跟踪的 http://www.robots.ox.ac.uk/~gk/

博主 简单生活FF  ：  http://blog.csdn.net/gxf1027/article/category/858368    对视觉跟踪文献进行的整理

研究 H.264的博客地址：http://blog.csdn.net/xiangjiantui/article/details/7871152、

（一）Online Learning for Visual Tracking  转自http://blog.sina.com.cn/s/blog_5138ac890100geha.html

Goal：

在线学习在视觉跟踪中的运用主要是为了解决跟踪目标外观(appearance)变化的问题。目标外观变化的原因可大致归结为两类[1]：一是由于目标本身的变化，比如姿态，形状的变形；另一个原因则是外界所致，包括光照的改变，摄像机的运动及视角的转换，遮挡等等。传统的离线学习(off-line learning) 的方法通过大量的样本训练分类器，然后在线的对目标进行检测与跟踪。因此这对训练样本提出了很高的要求，比如必须包括跟踪目标在各种情况下可能出现的状态；而且即使拥有这样的训练样本，由于它们的变化性太大，也可能很难提出比较好的特征来用于检测或者分类。离线学习的方法则在跟踪的同时，对检测器或者分类器进行更新，使之适应于当前目标的跟踪，通过这样的方式试图去解决在离线学习跟踪中遇到的困难。 

Paper Review：(继续跟新中)

R.T.Collins等人提出了一种在线选择跟踪特征的方法[2]. 他们的核心观点是: 视觉跟踪的好坏，取决于跟踪的目标与周围的背景有多大的区分性。如果目标很具有区分行，那么简单的跟踪器也能解决问题。他们选择{w1*R+w2*G+w3*B}, w_*∈{-2,-1,0,1,2}作为特征库，运用在这些特征上目标和背景的分布不同，来对每一个像素进行目标和背景的区分，最后运用meanshift的方法找到目标的位置和尺度。这里，每次只选用N个最具有区分性的特征来对目标进行检测，选择的标准则是该特征能否使目标和背景的分布具有较大的方差距离，类似于Fisher discriminator 。为了防止在跟踪过程model drift，他们选着第一帧和最近几帧的目标和背景情况构建目标及背景分布[p(feature_i | object) , p(feature_i | background)].

H. Grabner [3]等人提出on-line Boosting的方法。它与off-line boosting不同的地方是，在off-line boosting时，利用所有的样本同时去顺序的选择K个弱分类器；而on-line boosting则是每次得到一个样本时，顺序的去训练所有的分类器（分类器分成K个层次），然后再每层上去选着最好的分类器(选择的标准根据该分类器的分类错误率，错误率最小的将被选中)。但on-line boosting的缺陷是不能设定所需的检测率和误检率从而自动的去挑选所需数量的分类器，它已经提前设定为K个弱分类器的叠加(或者比K小)。在[4]中，提出给予多示例学习的boosting方法。他主要考虑的问题是如果跟踪的位置出现不准确的情况，那么此次得到的样本将不准确，而接下来利用该样本的分类器更新过程将导致分类器的性能下降，如此恶性循环，导致目标无法跟踪。而多示例学习将多个样本同时学习，假定这些样本里面只要有一个为正样本，就能学习到正确的结果。因此，即使此次检测的目标位置又偏移，但通过在此目标周围再选取N个样本，这至少会存在一个准确的目标。再将这些样本同时学习，保证分类器的更新不会出现问题。

[1]提出增量学习(incremental learning)，目前还没看太懂，但出发点也是利用在线样本不断地更新分类器。并利用particle filter对目标进行跟踪。 

Challenge[5]:

Visual object tracking is one of the classic tasks in computer vision. However, in the general case of tracking any object, tracking remains challenging. The proposed ethz tracker evaluation framework focuses on a well defined sub-problem in visual tracking:

（1）single object tracking

（2）model-free tracking (i.e., only the initial position of the object is known)

An ideal model-free tracking algorithm should be able to track the object of interest accurately, in spite of distraction (e.g., occlusion), while not ending in an unreliable state (e.g., tracking a different object).

Summarizing, the challenge is to track any object which might undergoes various appearance changes by using as little prior information as possible. The method should be robust in the sense of partial and full occlusions, changes in illumination and background clutter.(尽量少的先验、抗遮挡、光照、背景混淆，当然对于非刚体还有形变)

Reference:

[1]. D. A. Ross, J. Lim, R-S Lin, M-H Yang, Incremental Learning for Robust Visual Tracking, No.77, pp:125-141,IJCV 2008.

[2]. R.T. Collins, Yanxi Liu, and M. Leordeanu, Online Selection of Discriminative Tracking Features.

[3]. H Grabner, and H. Bischof, On-line Boosting and Vision, CVPR 2006

[4]. B. Babenko, M-H Yang, and S. Belongie, Visual Tracking with Online Multiple Instance Learning, CVPR 2009.

[5]. http://www.vision.ee.ethz.ch/trackerEvaluation/

最后上传一些文献中的处理框图 主要就是 train-test pipeline：

visual tracking------object tracking && video tracking

标签：

原文地址：http://blog.csdn.net/zkl99999/article/details/45340819