Kinect V2程序设计(C++) Color篇

时间：2014-12-01 23:51:06 阅读：508 评论：0 收藏：0 [点我收藏+]

标签：style blog http ar color os 使用 sp for

Kinect SDK v2预览版，获取数据的基本流程的说明。以及取得Color图像的示例程序的介绍。

上一节，是关于当前型号Kinect for Windows（后面称作Kinect v1）和次世代型的Kinect for Windows的开发者预览版(后面称作Kinect v2 预览版)的配置比较和介绍。

从这一节开始，是Kinect的各种数据的取得方法的比较和介绍。

Color Camera

Kinect和通常的Web摄像头一样，搭载了 Color Camera，可以取得Color图像。关于Camera，Kinect v1的分辨率是640×480，Kinect v2分辨率大幅提升到1920×1080。这次，要介绍从Color Camer取得图像的方法。

数据取得的流程

Kinect SDK v1和Kinect SDK v2预览版取得数据的基本流程。

这里表示的是最基础的流程，在Kinect SDK 在v2预览版里，有把多个「Source」「Reader」一齐处理的API，和这里介绍的数据获取的流程也会有差异。

图1是Kinect SDK v1和Kinect SDK v2预览版的数据取得流程

Kinect SDK v1，是从「Sensor」打开「Stream」，从「Stream」取得「Frame」，从「Frame」取得数据这样的流程。

到了Kinect SDK v2预览版，是从「Sensor」取得「Source」，从「Source」打开「Reader」，从「Reader」取得「Frame」，从「Frame」取得数据这样的流程。

每个Kinect SDK v2预览版的「Source」，都有一个从Kinect取得Color和Depth的1个数据流，这点和Kinect SDK v1的「Stream」是一样的。

Kinect SDK v2预览版，追加了「Reader」的阶段。「Reader」能打开1个「Source」多次。通过这个配置，多线程的应用上，不需要把取得的数据拷贝到其他线程处理。也有多个应用可以从同一个传感器取得数据的优点。

（注：因为Color Camera和Depth Camera是分离的，所以Color、Depth和Skeleton数据流也是各自独立的，API通过Event来通知App是否有数据更新。通常为了效率，对每一个数据流都使用单独的线程来等待Event，然后处理数据。在之前的v1中，Frame是独立的，取出后数据就被Drop掉了，所以想在Depth里读取Color之类的操作，必须使用内存拷贝，而多线程读写数据又会需要互斥锁，十分影响效率；还有一个办法是通过NuiSetFrameEndEvent，也就是c#接口中的AllFrameReady事件，但是这样等待所有数据不仅太局限而且效率很低。）

示例程序

Kinect SDK v2预览版取得Color画像的示例程序的展示，图1展示的是数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里公开了。

https://github.com/UnaNancyOwen/Kinect2Sample

这个示例程序为了处理图像数据，使用了OpenCV。OpenCV的详细内容可以参考下面的信息。

http://docs.opencv.org/

「Sensor」

取得「Sensor」

// Sensor
IKinectSensor* pSensor;   ……1
HRESULT hResult = S_OK;
hResult = GetDefaultKinectSensor( &pSensor );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : GetDefaultKinectSensor" << std::endl;
  return -1;
}
hResult = pSensor->Open();  ……3
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::Open()" << std::endl;
  return -1;
}

列表1.1 相当于图1「Sensor」的部分

1 处理Kinect v2预览版的Sensor接口。

2 取得默认的Sensor。

3 打开Sensor。

「Source」
　从「Sensor」取得「Source」。

// Source
IColorFrameSource* pColorSource;  ……1
hResult = pSensor->get_ColorFrameSource( &pColorSource );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::get_ColorFrameSource()" << std::endl;
  return -1;
}

列表1.2 相当于图1「Source」的部分

1 获取Color Frame的Source接口。

2 从Sensor取得Source。

「Reader」

「Source」从打开「Reader」。

// Reader
IColorFrameReader* pColorReader;  ……1
hResult = pColorSource->OpenReader( &pColorReader );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IColorFrameSource::OpenReader()" << std::endl;
  return -1;
}

列表1.3 相当于图1「Reader」的部分

1 获取Color Frame的Reader接口。

2 从Source打开Reader。

「Frame」～「Data」

从「Reader」取得最新的「Frame」。

int width = 1920;   ……1
int height = 1080;  ……1
unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );  ……2
cv::Mat bufferMat( height， width， CV_8UC4 );  ……3
cv::Mat colorMat( height / 2， width / 2， CV_8UC4 );  ……3
cv::namedWindow( "Color" );
while( 1 ){
  // Frame
  IColorFrame* pColorFrame=nullptr;  ……4
  hResult=pColorReader->AcquireLatestFrame( &pColorFrame );  ……5
  if( SUCCEEDED( hResult ) ){
    hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize， reinterpret_cast<BYTE*>( bufferMat.data )， ColorImageFormat_Bgra );  ……6
    if( SUCCEEDED( hResult ) ){
      cv::resize( bufferMat， colorMat， cv::Size()， 0.5， 0.5 );   ……7
    }
  }
  SafeRelease( pColorFrame );
  // Show Window
  cv::imshow( "Color"， colorMat );
  if( cv::waitKey( 30 ) == VK_ESCAPE ){
    break;
  }
}