码迷,mamicode.com
首页 > 移动开发 > 详细

Paper | MFQE 2.0: A New Approach for Multi-frame Quality Enhancement on Compressed Video

时间:2019-09-30 00:00:21      阅读:232      评论:0      收藏:0      [点我收藏+]

标签:全面   也会   分类   cal   比特率   一点   ram   准确率   文献   

前景提要
这篇论文是Multi-frame quality enhancement for compressed video(CVPR 2018)的期刊版本,2019年9月26日被TPAMI(2018年IF=17.730)接收。博主和关振宇导师是共同一作,徐迈老师是通讯作者、第三作者。

要点

本文提出了一种针对压缩视频的质量增强方法。创新点:

  • 前人的工作大多忽略了帧间相关性。本文利用了视频的帧间相关性
  • 我们应该是第一个考虑了压缩视频的特性:质量波动
  • MFQE应该是第一个运动补偿+质量增强end-to-end方法。
  • 本文提出的方法,核心思想是好帧补偿差帧,是非常具有insight的方法。

我们看图说话:
技术图片

  1. 如图上半部分黑线,压缩视频中存在显著的质量(本文考虑PSNR)波动状况。其中,第92帧和第96帧达到了PSNR局部极大值点,中间的第95帧处在PSNR局部极小值点。
  2. 如图下半部分,质量好帧——第92和96帧中的篮球比较清晰,而质量差帧——第95帧中的篮球质量很差(马赛克严重)。
  3. 在我们的MFQE算法中,在增强第95帧时,92帧和96帧的信息也会被参考,使得增强效果显著好于图像增强方法DS-CNN(橙色框)。

压缩视频特性分析

质量波动

首先,我们以压缩视频库中的6个视频为例,看一看质量波动性:
技术图片

可见,无论是HEVC、H264还是MPEG-1/2/4,这种质量波动性都是存在的,并且在HEVC中尤为明显。本文以HEVC为主要分析对象。

进一步,我们对这种质量波动性进行量化。我们衡量两个指标:

  1. 相邻的好帧和差帧的PSNR差值。差值越大,说明局部质量波动越厉害。这就是所谓的峰值-谷值差值(Peak-Valey Difference, PVD)。
  2. 整个视频PSNR的标准差。标准差越大,说明该视频的PSNR越不稳定,即全局质量波动越厉害。这就是文中的SD。

我们在整个视频库(108个视频)中统计了上述两个指标的平均值,结果如表:
技术图片

质量波动性有两点意义:

  1. PVD大,说明好帧、差帧质量差距大,说明差帧借助好帧提升质量的潜力很大
  2. SD大,说明好帧补偿差帧的方法非常适用于压缩视频。

帧间相关性

进一步,我们得看看好帧补偿差帧是否可行。我们测量了相邻若干帧的两帧之间的相关系数及其标准差,如图:
技术图片

结果说明:

  1. 时序相关性很强:前后距离10帧内,平均相关系数都能超过0.75。
  2. 时序相关性保持较稳定:标准差较小。

那么,压缩视频中好帧(局部质量峰值)之间的平均距离大概是多少呢?我们在上一个表格中展示了PS这个指标,在HEVC大概是2.66。好帧之间的距离如此近,结合上图可知,两个相邻好帧 与它们中间的差帧 之间的相关性极高

总之,我们的思想是有前景的!

方法

我们的MFQE方法由一个框图说明:
技术图片

  1. 首先,我们用一个分类器,将视频中的好帧(质量局部极大值)找出来。
  2. 对于每一个差帧(只要不是局部极大值,就算差帧),借助其相邻的两个好帧,我们进行质量增强。
  3. 在质量增强之前,这两个好帧要进行运动补偿,补偿到差帧所处时刻的状态。
  4. 好帧也进行同样的流程,此时好帧借助的是相邻好帧。

批注:MFQEv1.0对于好帧的增强采用的是图像增强方法DS-CNN。这里好帧也用相邻好帧进行增强,得到了审稿人好评,因为网络得到了统一和简化。

分类器

技术图片

分类器用BiLSTM搭建。对于每一帧,我们都采用参考文献[2]提供的质量评估方法,得到一个36维的向量;然后我们再添加这一帧的比特率和QP(这些都可以从码流中轻易获得),得到一个38维的向量,表征这一帧,输入BiLSTM网络。

理想状况下,BiLSTM能够通过比较这些特征向量,找出局部质量极大值点。

要注意,这是一个无参考(no-reference)的分类器:即不需要原始无损视频信息,不需要PSNR信息,而是通过传统的质量评估方法获得的“特征向量”,再进行学习。

批注:MFQEv1.0中的分类器采用的是SVM。这里用BiLSTM,极大提升了分类准确率,并且降低了分类难度,提升了分类速度。

好帧运动补偿

技术图片

为了让整体网络可以端到端训练,这里的运动补偿网络采用的是基于CNN的光流预测网络[29]。

质量增强网络

技术图片

运动补偿后的好帧,与差帧一起输入网络。在前端,我们采用了三种scale的特征提取;在后端,我们采用了稠密连接和BN技巧。整体上,我们还采用了短连接。

批注:MFQEv1.0中的质量增强网络是渐进融合网络,效果差得多,参数量也大得多(5倍以上)。

实验

差帧质量提升效果

技术图片

好帧在文中就是PQF,差帧就是non-PQF。如图,MFQEv2.0算法在好帧增强上略高于其他算法,但在差帧增强方面显著高于其他算法。这就体现了MFQEv2.0的优势。

总体效果

我们以PSNR的增强数据为标准。如大表格:
技术图片

在国际标准测试序列(18个视频)上,MFQEv2.0全面胜出,展现出较好的泛化能力。

编码领域通常还衡量BDBR指标。我们看看结果:
技术图片

图像方法最多能到9%,而MFQE方法能达到14%。

缓和压缩视频的质量波动

由于MFQEv2.0对差帧的提升非常显著,因此可以缓和质量波动现象。我们通过示例和数值来验证这一点:
技术图片

如图,PSNR的标准差显著下降,而峰值-谷值差距减小,说明质量波动下降明显。从PSNR曲线上我们也可以看到:
技术图片

网络速度

MFQEv2.0不仅效果好,而且参数少、帧速率快。这进一步说明了多帧方法的优势:我们不需要冗余的网络,多帧信息是我们的杀手锏。
技术图片

主观效果

技术图片

不足

  1. MFQE算法依赖于较为精确的运动补偿(光流预测)。如果运动补偿不准确,那么总体效果可能不理想。现在已经有一些方法跳过了这一步骤,例如使用Conv-LSTM直接输入相邻帧。但是这一点有利有弊,隐式(implicitly)建模运动差异,总体性能可能更差。
  2. 我们只考虑了客观质量PSNR。如果进一步考虑感知质量(perceptual loss)等,主观效果会更好。

Paper | MFQE 2.0: A New Approach for Multi-frame Quality Enhancement on Compressed Video

标签:全面   也会   分类   cal   比特率   一点   ram   准确率   文献   

原文地址:https://www.cnblogs.com/RyanXing/p/11610438.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!