码迷，mamicode.com
首页 > 其他好文 > 详细

AVSampleBufferDisplayLayer----转

时间：2016-08-23 16:40:35      阅读：393      评论：0      收藏：0      [点我收藏+]

标签：

http://blog.csdn.net/fernandowei/article/details/52179631

目前大多数iOS端的视频渲染都使用OpenGLES，但如果仅仅为了渲染而不做其他的例如美颜等效果，其实可以使用iOS8.0新出的AVSampleBufferDisplayLayer。对AVSampleBufferDisplayLayer，官方说明中有一句话，“The AVSampleBufferDisplayLayer class is a subclass of CALayer that displays compressed or uncompressed video frames.”，即AVSampleBufferDisplayLayer既可以用来渲染解码后的视频图片，也可以直接把未解码的视频帧送给它，完成先解码再渲染出去的步骤。

 

由于本人在使用AVSampleBufferDisplayLayer之前已经videotoolbox中相关api完成了h264视频的硬解，所以这里仅仅使用AVSampleBufferDisplayLayer来渲染，即送给它pixelBuffer。

 

个人选择了UIImageView作为渲染的view（没有直接使用UIView的原因后面会提到），而且也没有重载UIView的layerClass函数来使AVSampleBufferDisplayLayer成为这个view的默认layer（不这么做的原因后面提到）。

 

具体做法，首先，建立AVSampleBufferDisplayLayer并把它添加成为当前view的子layer：

 
  1. self.sampleBufferDisplayLayer = [[AVSampleBufferDisplayLayer alloc] init];  
  2. self.sampleBufferDisplayLayer.frame = self.bounds;  
  3. self.sampleBufferDisplayLayer.position = CGPointMake(CGRectGetMidX(self.bounds), CGRectGetMidY(self.bounds));  
  4. self.sampleBufferDisplayLayer.videoGravity = AVLayerVideoGravityResizeAspect;  
  5. self.sampleBufferDisplayLayer.opaque = YES;  
  6. [self.layer addSublayer:self.sampleBufferDisplayLayer];  

其次，把得到的pixelbuffer包装成CMSampleBuffer并设置时间信息：

 
  1. //把pixelBuffer包装成samplebuffer送给displayLayer  
  2. - (void)dispatchPixelBuffer:(CVPixelBufferRef) pixelBuffer  
  3. {  
  4.     if (!pixelBuffer){  
  5.         return;  
  6.     }  
  1. @synchronized(self) {  
  2.     if (self.previousPixelBuffer){  
  3.         CFRelease(self.previousPixelBuffer);  
  4.         self.previousPixelBuffer = nil;  
  5.     }  
  6.     self.previousPixelBuffer = CFRetain(pixelBuffer);  
  7. }  
  8.   
  9. //不设置具体时间信息  
  10. CMSampleTimingInfo timing = {kCMTimeInvalid, kCMTimeInvalid, kCMTimeInvalid};  
  11. //获取视频信息  
  12. CMVideoFormatDescriptionRef videoInfo = NULL;  
  13. OSStatus result = CMVideoFormatDescriptionCreateForImageBuffer(NULL, pixelBuffer, &videoInfo);  
  14. NSParameterAssert(result == 0 && videoInfo != NULL);  
  15.   
  16. CMSampleBufferRef sampleBuffer = NULL;  
  17. result = CMSampleBufferCreateForImageBuffer(kCFAllocatorDefault,pixelBuffer, true, NULL, NULL, videoInfo, &timing, &sampleBuffer);  
  18. NSParameterAssert(result == 0 && sampleBuffer != NULL);  
  19. CFRelease(pixelBuffer);  
  20. CFRelease(videoInfo);    
 
  1. CFArrayRef attachments = CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, YES);  
  2. CFMutableDictionaryRef dict = (CFMutableDictionaryRef)CFArrayGetValueAtIndex(attachments, 0);  
  3. CFDictionarySetValue(dict, kCMSampleAttachmentKey_DisplayImmediately, kCFBooleanTrue);  
  4. [self enqueueSampleBuffer:sampleBuffer toLayer:self.sampleBufferDisplayLayer];  
  5. CFRelease(sampleBuffer);  

这里不设置具体时间信息且设置kCMSampleAttachmentKey_DisplayImmediately为true，是因为这里只需要渲染不需要解码，所以不必根据dts设置解码时间、根据pts设置渲染时间。

 

 

最后，数据送给AVSampleBufferDisplayLayer渲染就可以了。

 

[objc] view plain copy
 技术分享技术分享
  1. <p class="p1"><pre name="code" class="objc">- (void)enqueueSampleBuffer:(CMSampleBufferRef) sampleBuffer toLayer:(AVSampleBufferDisplayLayer*) layer  
  2. {  
  3.     if (sampleBuffer){  
  4.         CFRetain(sampleBuffer);  
  5.         [layer enqueueSampleBuffer:sampleBuffer];  
  6.         CFRelease(sampleBuffer);  
  7.         if (layer.status == AVQueuedSampleBufferRenderingStatusFailed){  
  8.             NSLog(@"ERROR: %@", layer.error);  
  9.             if (-11847 == layer.error.code){  
  10.                 [self rebuildSampleBufferDisplayLayer];  
  11.             }  
  12.         }else{  
  13. //            NSLog(@"STATUS: %i", (int)layer.status);  
  14.         }  
  15.     }else{  
  16.         NSLog(@"ignore null samplebuffer");  
  17.     }  
  18. }  

可以看到，使用AVSampleBufferDisplayLayer进行视频渲染比使用OpenGLES简单了许多。不过遗憾的是，这里有一个iOS系统级的bug，AVSampleBufferDisplayLayer会在遇到后台事件等一些打断事件时失效，即如果视频正在渲染，这个时候摁home键或者锁屏键，再回到视频的渲染界面，就会显示渲染失败，错误码就是上述代码中的-11847。

 

个人在遇到上述问题后，联想到之前使用videotoolbox解码视频时遇到类似后台事件时VTDecompressionSession会失效从而需要撤销当前VTDecompressionSession来重新建立VTDecompressionSession的过程，在AVSampleBufferDisplayLayer失效时，也去撤销当前这个AVSampleBufferDisplayLayer再重建一个；这里说到之前卖的一个关子，如果这个AVSampleBufferDisplayLayer是view的默认layer，这时就没法只撤销layer而不动view，所以把AVSampleBufferDisplayLayer作为view的子layer更方便，撤销重建的过程如下：

  1. - (void)rebuildSampleBufferDisplayLayer{  
  2.     @synchronized(self) {  
  3.         [self teardownSampleBufferDisplayLayer];  
  4.         [self setupSampleBufferDisplayLayer];  
  5.     }  
  6. }  
  7.   
  8. - (void)teardownSampleBufferDisplayLayer  
  9. {  
  10.     if (self.sampleBufferDisplayLayer){  
  11.         [self.sampleBufferDisplayLayer stopRequestingMediaData];  
  12.         [self.sampleBufferDisplayLayer removeFromSuperlayer];  
  13.         self.sampleBufferDisplayLayer = nil;  
  14.     }  
  15. }  
  16.   
  17. - (void)setupSampleBufferDisplayLayer{  
  18.     if (!self.sampleBufferDisplayLayer){  
  19.         self.sampleBufferDisplayLayer = [[AVSampleBufferDisplayLayer alloc] init];  
  20.         self.sampleBufferDisplayLayer.frame = self.bounds;  
  21.         self.sampleBufferDisplayLayer.position = CGPointMake(CGRectGetMidX(self.bounds), CGRectGetMidY(self.bounds));  
  22.         self.sampleBufferDisplayLayer.videoGravity = AVLayerVideoGravityResizeAspect;  
  23.         self.sampleBufferDisplayLayer.opaque = YES;  
  24.         [self.layer addSublayer:self.sampleBufferDisplayLayer];  
  25.     }else{  
  26.         [CATransaction begin];  
  27.         [CATransaction setDisableActions:YES];  
  28.         self.sampleBufferDisplayLayer.frame = self.bounds;  
  29.         self.sampleBufferDisplayLayer.position = CGPointMake(CGRectGetMidX(self.bounds), CGRectGetMidY(self.bounds));  
  30.         [CATransaction commit];  
  31.     }  
  32.     [self addObserver];  
  33. }    

当然，需要监听后台事件，如下：

 
  1. - (void)addObserver{  
  2.     if (!hasAddObserver){  
  3.         NSNotificationCenter * notificationCenter = [NSNotificationCenter defaultCenter];  
  4.         [notificationCenter addObserver: self selector:@selector(didResignActive) name:UIApplicationWillResignActiveNotification object:nil];  
  5.         [notificationCenter addObserver: self selector:@selector(didBecomeActive) name:UIApplicationDidBecomeActiveNotification object:nil];  
  6.         hasAddObserver = YES;  
  7.     }  
  8. }  


做到这里，基本的问题都解决了，视频可以正常渲染了；不过还有一个稍令人不悦的小问题，即app被切到后台再切回来时，由于这个时候AVSampleBufferDisplayLayer已经失效，所以这个时候渲染的view会是黑屏，这会有一到两秒的时间，直到layer重新建立好并开始渲染。那怎么让这个时候不出现黑屏呢？就需要前面提到的UIImageView，做法如下：

 首先，对于每个到来的pixelbuffer，要保留它直到下一个pixelbuffer到来，如下函数中粗体所示：

  1. - (void)dispatchPixelBuffer:(CVPixelBufferRef) pixelBuffer  
  2. {  
  3.     if (!pixelBuffer){  
  4.         return;  
  5.     }  
  6.       
  7. <strong>    @synchronized(self) {  
  8.         if (self.previousPixelBuffer){  
  9.             CFRelease(self.previousPixelBuffer);  
  10.             self.previousPixelBuffer = nil;  
  11.         }  
  12.         self.previousPixelBuffer = CFRetain(pixelBuffer);  
  13.     }</strong>  
  14.     ...........略去其他  
  15. }  

其次，当切后台事件resignActive事件到来时，用当前最新保存的pixelbuffer去设置UIImageView的image，当然pixelbuffer要先转化成UIImage，方法如下：

  1. - (UIImage*)getUIImageFromPixelBuffer:(CVPixelBufferRef)pixelBuffer  
  2. {  
  3.     UIImage *uiImage = nil;  
  4.     if (pixelBuffer){  
  5.         CIImage *ciImage = [CIImage imageWithCVPixelBuffer:pixelBuffer];  
  6.         uiImage = [UIImage imageWithCIImage:ciImage];  
  7.         UIGraphicsBeginImageContext(self.bounds.size);  
  8.         [uiImage drawInRect:self.bounds];  
  9.         uiImage = UIGraphicsGetImageFromCurrentImageContext();  
  10.         UIGraphicsEndImageContext();  
  11.     }  
  12.     return uiImage;  
  13. }  

 

 

然后在resignActive事件处理函数中，设置UIImageView的image，如下：

 
  1. - (void)didResignActive{  
  2.     NSLog(@"resign active");  
  3.     [self setupPlayerBackgroundImage];  
  4. }  
  5.   
  6. - (void) setupPlayerBackgroundImage{  
  7.     if (self.isVideoHWDecoderEnable){  
  8.         @synchronized(self) {  
  9.             if (self.previousPixelBuffer){  
  10.                 self.image = [self getUIImageFromPixelBuffer:self.previousPixelBuffer];  
  11.                 CFRelease(self.previousPixelBuffer);  
  12.                 self.previousPixelBuffer = nil;  
  13.             }  
  14.         }  
  15.     }  
  16. }  

这样，切完后台回来前台，在layer还没有重新建立好之前，看到的就是设置的UIImageView的image而不是黑屏了，而这个image就是切后台开始时渲染的最后一帧画面。 

对于前面说到的AVSampleBufferDisplayLayer失效后重建导致的黑屏时间，个人通过验证发现，如果这个重建动作，即下面这句代码，

  1. [[AVSampleBufferDisplayLayer alloc] init]  

发生在app刚从后台会到前台就会非常耗时，接近两秒，而如果是正在前台正常播放的过程中执行这句话，只需要十几毫秒；前者如此耗时的原因，经过请教其他iOS开发的同事，可能是这个时候系统优先恢复整个app的UI，其他操作被delay；

AVSampleBufferDisplayLayer----转

标签：

原文地址：http://www.cnblogs.com/chims-liu-touch/p/5799716.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！