标签:specific 建议 特征 最小 大致 binary log 改变 优点
这一篇应该是继《BLIND QUALITY ASSESSMENT OF COMPRESSED IMAGES VIA PSEUDO STRUCTURAL SIMILARITY》(2016 ICME)之后的拓展工作。后者是将压缩图像再压缩,比较二者伪结构(压缩块角)的相似度;而本文就是将方法一般化,产生了伪参考图像的概念。
建议先看那篇短文,再看本文。本文只记录扩展部分的精华。
【实际上,这种思想并不是作者的首创。在去模糊等领域,这种思想被广泛使用[5,6]】
本文称伪参考图像为pseudo-reference image(PRI),基于PRI的盲IQA方法为PRI-based BIQA。
本文考虑三种失真:块效应,模糊和噪声。
要注意的是,每一种失真很不一样,因此我们需要设计distortion-specific PRI以及对应的测距方法。
对于块效应,我们先对压缩图像进一步强压缩,然后寻找各自的伪结构,最后计算二者伪结构的相似度(PSS),即最终得分。
对于模糊和噪声,它们都会改变图像的局部结构:平坦区域可能因为噪声变得有纹理,而纹理区域可能因为模糊变得平滑。因此我们测量的是局部结构相似度(local structure similarity, LSS)。具体是借助local binary pattern(LBP)[8]来刻画局部结构。
借助DIIVINE[7]的识别方法。只有此步需要训练。
我们先说块效应。流程与ICME大致相同,不同点:
计算PSS时分母上加1,以保证数值稳定性。
检测角使用MATLAB的最小特征值法[43]。质量阈值很小,设为0.001。
在处理图像前,先用\(3 \times 3\)标准差为0.5的高斯滤波器滤波。
我们再说模糊和噪声指标——LSS。
模糊图像和有噪图像的PRI分别是:
得到PRI以后,我们要用LBP来表征PRI和原图各自的局部结构。LBP记录的是某个像素和其圆形邻域内像素的亮度值的差值,并且以二值化形式编码记录:
得到LBP之后,我们再处理一步:
上面是对模糊LBP的处理,下面是对有噪LBP的处理。
最后,我们遵循与块效应相同的步骤,计算相似度即可。
效果:
质量越差(DMOS小),重合越多(白色区域占比大),得分越高(LSS得分高)。
有上面那些是不够的。如果一张图像里存在多种失真耦合,那么以上流程和指标都没法用。为此,我们将方法拓展。
首先,我们要让PSS和两个LSS处于相近的区间,即归一化。方法就是用100张图像(4种失真类型和5种失真尺度,共2000张),拟合各自的模型:
\[
q' = \lambda_1 (\frac{1}{2} - \frac{1}{1 + \exp \lambda_2 (q - \lambda_3)}) + \lambda_4 q + \lambda_5
\]
这样,3个得分都会在0和1之间波动。拟合对象为FR方法GMSD[49]。
这里作者使用了SVM作为分类器。输入即3个归一化前的质量评分组成的1个3维向量,输出也是3维向量,表征3种失真的概率。
概率和归一化后的得分加权求和,即最终得分。
实验略。
优点:
We solve the problem of IQA by measuring "how much worse the image could be?" rather than the traditional "how bad the image is?".
缺点:
存在大量手工设计的参数。调起来甚是麻烦。
很难处理耦合失真。
失真类型有限。每加入一种失真类型,就需要训练一个SVM,拟合一个归一化模型,定义一个PRI。
Paper | Blind Quality Assessment Based on Pseudo-Reference Image
标签:specific 建议 特征 最小 大致 binary log 改变 优点
原文地址:https://www.cnblogs.com/RyanXing/p/BPRI.html